如何部署Spark Streaming应用程序?

维马尔·达杜克(Vimal Dhaduk)

我需要在Linux服务器上部署Spark Streaming应用程序。

谁能提供部署步骤以及部署前需要进行哪些代码修改的步骤?

class JavaKafkaWordCount11 {
    public static void main(String[] args) {
        StreamingExamples.setStreamingLogLevels();

        SparkConf sparkConf = new SparkConf()
                .setAppName("JavaKafkaWordCount11")
                .setMaster("local[*]");
        sparkConf.set("spark.streaming.concurrentJobs", "20");

        JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, new Duration(1500));

        Map<String, Integer> topicMap = new HashMap<>();
        topicMap.put("TopicQueue", 20);
        JavaPairReceiverInputDStream<String, String> messages =
                KafkaUtils.createStream(jssc, "x.xx.xxx.xxx:2181", "1", topicMap);
        JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
            @Override
            public String call(Tuple2<String, String> tuple2) {
                return tuple2._2();
            }
        });
        lines.foreachRDD(rdd -> {
            if (rdd.count() > 0) {
                List<String> strArray = rdd.collect();
                getProcessResult(strArray);
            }
        });
    }
}

您可以通过Spark-submit.com提交您的工作。

./spark-submit --class packagename.classname [--jars path to any external jars] --master local[4] "Your jar file path"

有关任何参考,请点击以下链接:

提交火花

谢谢。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何配置检查点以重新部署Spark Streaming应用程序?

如何部署Spark Java Web应用程序?

从spark-shell(pyspark)查询Spark Streaming应用程序

Spark Streaming独立应用程序和依赖项

我的Spark Streaming应用程序中的OOM异常

Spark Streaming 应用程序启动时如何得到通知?

如何在Spark Streaming应用程序中从Kafka接收Java对象

如何删除 spark -streaming 应用程序从 eventhub 接收消息生成的进度目录

如何访问Spark Streaming应用程序的统计信息终结点?

如何在IntelliJ IDEA中使用Kafka Direct Stream运行Spark Streaming应用程序?

如何为 Spark Structured Streaming 应用程序构建 uber jar 到 MongoDB 接收器

如何将Spark Streaming应用程序的输出写入单个文件

如何部署Dropwizard应用程序

如何部署 Go Web 应用程序

您如何部署Angular应用程序?

如何使用Docker部署应用程序

如何获取Java中部署到YARN的Spark应用程序的applicationId?

如何在NetworkWordCount Spark Streaming应用程序中修复“ org.apache.spark.shuffle.FetchFailedException:无法连接”?

如何更改 VSCode 部署的 Web 应用程序的部署位置?

如何部署Java Web应用程序。部署步骤

Spark Streaming 应用程序在同时向 Cassandra 写入和读取时卡住

在Spark Streaming应用程序中联接数据的最佳方法是什么?

如果 Spark-streaming 应用程序遇到一个巨大的文件会发生什么?

重新启动Spark Streaming应用程序的最佳方法是什么?

使用Flume + Spark Streaming的示例字数统计应用程序

Spark Streaming 不会在应用程序 UI 上显示任何记录

Apache Spark应用程序部署最佳实践

如何在Spark Streaming应用程序中异步写入行以加快批处理执行速度?

.NET应用程序的部署与Java Web应用程序的部署相比如何?