Zeppelin java.lang.NoClassDefFoundError:无法初始化类org.apache.spark.rdd.RDDOperationScope $

亚当·萨瓦查(AdamSzałucha)

当我运行代码

val home = "/Users/adremja/Documents/Kaggle/outbrain"
val documents_categories = sc.textFile(home + "/documents_categories.csv")
documents_categories take(10) foreach println

在火花壳中,它完美地工作

scala> val home = "/Users/adremja/Documents/Kaggle/outbrain"
home: String = /Users/adremja/Documents/Kaggle/outbrain

scala> val documents_categories = sc.textFile(home + "/documents_categories.csv")
documents_categories: org.apache.spark.rdd.RDD[String] = /Users/adremja/Documents/Kaggle/outbrain/documents_categories.csv MapPartitionsRDD[21] at textFile at <console>:26

scala> documents_categories take(10) foreach println
document_id,category_id,confidence_level
1595802,1611,0.92
1595802,1610,0.07
1524246,1807,0.92
1524246,1608,0.07
1617787,1807,0.92
1617787,1608,0.07
1615583,1305,0.92
1615583,1806,0.07
1615460,1613,0.540646372

但是,当我尝试在Zeppelin中运行时,出现错误

java.lang.NoClassDefFoundError: Could not initialize class org.apache.spark.rdd.RDDOperationScope$
  at org.apache.spark.SparkContext.withScope(SparkContext.scala:679)
  at org.apache.spark.SparkContext.textFile(SparkContext.scala:797)
  ... 46 elided

您知道问题出在哪里吗?

我有来自自制软件的spark 2.0.1(我在zeppelin-env.sh中将其链接为SPARK_HOME)和来自Zeppelin网站的Zeppelin 0.6.2二进制文件。

亚当·萨瓦查(AdamSzałucha)

好的,看来我找到了解决方案。从齐柏林飞艇的lib文件夹中,我删除了:

  • jackson-annotations-2.5.0.jar
  • jackson-core-2.5.3.jar
  • jackson-databind-2.5.3.jar

并将其替换为spark使用的2.6.5版本。

它现在可以工作,但是我不知道我是否没有破坏其他任何东西。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

java.lang.NoClassDefFoundError:无法初始化类org.apache.commons.logging.LogFactory

获取java.lang.NoClassDefFoundError:升级到POI 4.0.0后无法初始化类org.apache.poi.ooxml.util.DocumentHelper

java.lang.NoClassDefFoundError:无法初始化类org.bytedeco.javacpp.avutil

关于java.lang.NoClassDefFoundError:无法初始化类org.xerial.snappy.Snappy

java.lang.NoClassDefFoundError:无法初始化类org.springframework.mail.javamail.SmartMimeMessage

为什么Spark Spark with Play失败并显示“ NoClassDefFoundError:无法初始化类org.apache.spark.SparkConf $”?

java.lang.NoClassDefFoundError:org / apache / spark / Logging

java.lang.NoClassDefFoundError:org / apache / spark / sql / SparkSession

java.lang.NoClassDefFoundError:org / apache / spark / TaskOutputFileAlreadyExistException

春季:java.lang.NoClassDefFoundError:无法初始化类

java.lang.NoClassDefFoundError:无法初始化类XXX

java.lang.NoClassDefFoundError:无法初始化类org.powermock.modules.junit4.rule.PowerMockRule

线程“主”中的异常java.lang.NoClassDefFoundError无法初始化类org.bytedeco.javacpp.avutil

oozie spark 2.0操作给出异常:java.lang.NoClassDefFoundError:org / apache / spark / internal / Logging

java.lang.ClassNotFoundException:org.apache.spark.sql.Dataset

值toDS不是org.apache.spark.rdd.RDD的成员

值toDF不是org.apache.spark.rdd.RDD的成员

值联接不是org.apache.spark.rdd.RDD的成员

值reduceByKey不是org.apache.spark.rdd.RDD的成员

sortBy不是org.apache.spark.rdd.RDD的成员

值查找不是org.apache.spark.rdd.RDD的成员

Apache Toree Spark内核无法启动(java.lang.NoSuchMethodError)

Apache Spark RDD拆分“ |”

Apache Spark RDD替代

java.lang.NoClassDefFoundError:无法初始化类java.awt.Toolkit

IntelliJ:线程“主”中的异常java.lang.NoClassDefFoundError:org / apache / spark / sql / types / DataType

火花kafka流式传输错误-“ java.lang.NoClassDefFoundError:org / apache / spark / streaming / kafka / KafkaUtils

线程“主”中的异常java.lang.NoClassDefFoundError:org / apache / spark / streaming / StreamingContext

线程“主”中的异常java.lang.NoClassDefFoundError:org / apache / spark / sql / catalyst / analysis / OverrideFunctionRegistry