尝试运行简单的Spark Streaming Kafka示例时遇到错误

happyHelper

我正在尝试运行一个简单的kafka spark流示例。这是我遇到的错误。

16/10/02 20:45:43信息SparkEnv:在线程“主”中注册OutputCommitCoordinator异常java.lang.NoSuchMethodError:scala.Predef $。$ scope()Lscala / xml / TopScope $; 在org.apache.spark.ui.jobs.StagePage。(StagePage.scala:44)在org.apache.spark.ui.jobs.StagesTab。(StagesTab.scala:34)在org.apache.spark.ui.SparkUI 。(SparkUI.scala:62)在org.apache.spark.ui.SparkUI $ .create(SparkUI.scala:215)在org.apache.spark.ui.SparkUI $ .createLiveUI(SparkUI.scala:157)在org.apache.spark.ui.SparkUI $ .create(SparkUI.scala:215)在org.apache.spark.ui。 org.apache.spark.streaming.StreamingContext $ .createNewSparkContext(StreamingContext.scala:836)上的.apache.spark.SparkContext。(SparkContext.scala:443)在org.apache.spark.streaming.StreamingContext。(StreamingContext.scala: 84)在org.apache.spark.streaming.api.java.JavaStreamingContext。(JavaStreamingContext.scala:138)在com.application.SparkConsumer.App.main(App.java:27)

我使用以下pom设置此示例。我试图找到这个缺少的scala.Predef类,并为spark-streaming-kafka-0-8-assembly添加了缺少的依赖关系,当我探索这个jar时,可以看到该类。

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.11</artifactId>
    <version>0.8.2.0</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.8.2.0</version>
</dependency>
<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.11</artifactId>
      <version>2.0.0</version>
      <scope>provided</scope>
</dependency>
<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.11</artifactId>
      <version>2.0.0</version>
      <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
    <version>2.0.0</version>
</dependency>
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>2.11.0</version>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-8-assembly_2.11</artifactId>
    <version>2.0.0</version>
</dependency>

我已经尝试了一个简单的火花字数计算示例,并且效果很好。当我使用此spark-streaming-kafka时,遇到了麻烦。我试图查找此错误,但是没有运气。

这是代码片段。

        SparkConf sparkConf = new SparkConf().setAppName("someapp").setMaster("local[2]");
        // Create the context with 2 seconds batch size
        JavaStreamingContext jssc = new JavaStreamingContext(sparkConf, new Duration(2000));

        int numThreads = Integer.parseInt(args[3]);
        Map<String, Integer> topicMap = new HashMap<String,Integer>();
        topicMap.put("fast-messages", 1);
        Map<String, String> kafkaParams = new HashMap<String,String>();
        kafkaParams.put("metadata.broker.list", "localhost:9092");
        JavaPairReceiverInputDStream<String, String> messages = 
        KafkaUtils.createStream(jssc,"zoo1","my-consumer-group", topicMap); 
happyHelper

当我使用0.8.2.0 kafka的2.11时似乎有问题。切换到2.10后,它可以正常工作。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

尝试运行Java NIO SSL的简单示例以加载https://www.amazon.com的内容,但收到400错误的请求

Spark Streaming reduceByKeyAndWindow示例

在安装spark 2.4.4后尝试运行pyspark时如何修复'TypeError:整数是必需的(got类型字节)'错误

尝试通过Spark Streaming运行SparkSQL

尝试运行Selenium Webdriver(WebdriverJS)的示例测试时出现错误

尝试运行Spark时出错

Spark Streaming Kafka流

Spark 1.6 Kafka Streaming on Dataproc py4j错误

Spark Streaming + Kafka-Spark会话API

尝试运行Envoy前代理示例时出现的问题

在将Spark Streaming与Kafka集成时,Scala编程出现错误

Spark Streaming Kafka偏移量管理

Spark Streaming Kafka parallelModificationException

尝试运行基于Maven的简单springboot项目时出错

尝试运行docplex示例时出现BrokenProcessPool错误

错误:尝试运行简单的服务器js文件时找不到模块'socket.io'

当我尝试Apache Spark的Streaming Kmeans集群的官方示例时,为什么在model.predictOnValues中出现类型错误?

尝试运行Arduino时出现错误

FitNesse尝试运行错误版本的Java

尝试运行angular.io“英雄之旅”最终失败时遇到错误

在Kafka上运行Spark-Streaming作业时发生NoSuchMethodError

使用Spark Streaming处理Kafka消息时遇到的挑战

在awaitResult中抛出Kafka Spark Streaming异常

Apache Spark Streaming kafka 集成错误 JAVA

Spark Streaming + Kafka 集成 0.8.2.1

Spark Streaming、Structured Streaming 和 Kafka Streaming 是一回事吗?

使用 python 和 Kafka 的 Spark Structured Streaming 给出错误

尝试运行 Scala Play 示例时出错

我在尝试运行我的颤振项目时遇到错误