我需要在Linux服务器上部署Spark Streaming应用程序。
谁能提供部署步骤以及部署前需要进行哪些代码修改的步骤?
class JavaKafkaWordCount11 {
public static void main(String[] args) {
StreamingExamples.setStreamingLogLevels();
SparkConf sparkConf = new SparkConf()
.setAppName("JavaKafkaWordCount11")
.setMaster("local[*]");
sparkConf.set("spark.streaming.concurrentJobs", "20");
JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, new Duration(1500));
Map<String, Integer> topicMap = new HashMap<>();
topicMap.put("TopicQueue", 20);
JavaPairReceiverInputDStream<String, String> messages =
KafkaUtils.createStream(jssc, "x.xx.xxx.xxx:2181", "1", topicMap);
JavaDStream<String> lines = messages.map(new Function<Tuple2<String, String>, String>() {
@Override
public String call(Tuple2<String, String> tuple2) {
return tuple2._2();
}
});
lines.foreachRDD(rdd -> {
if (rdd.count() > 0) {
List<String> strArray = rdd.collect();
getProcessResult(strArray);
}
});
}
}
您可以通过Spark-submit.com提交您的工作。
./spark-submit --class packagename.classname [--jars path to any external jars] --master local[4] "Your jar file path"
有关任何参考,请点击以下链接:
谢谢。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句