java.lang.ClassNotFoundException:org.apache.spark.sql.Dataset

屋大维

当运行使用SparkDataset类型的Scala文件时,我得到以下堆栈跟踪:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/Dataset
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:125)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.Dataset
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 6 more

我发现这很奇怪,因为我有以下导入内容:

import org.apache.spark.sql._

另外,在我中,build.sbt我还添加了以下内容libraryDependencies

  "org.apache.spark" %% "spark-core" % "1.6.2" % "provided",
  "org.apache.spark" %% "spark-sql" % "1.6.2" % "provided",
西蒙

如果您是独立执行的,则可以尝试provided从依赖项中删除提供意味着您在运行此应用程序时期望依赖项已经在类路径上。因此,如果您使用,Spark依赖项将不会包含在您的jar中provided

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

引起原因:org.apache.spark.sql.Dataset上的java.lang.NullPointerException

Spark和Cassandra Java应用程序:线程“ main”中的异常java.lang.NoClassDefFoundError:org / apache / spark / sql / Dataset

java.lang.RuntimeException:不支持的文字类型类org.apache.spark.sql.Dataset / Spark-JAVA

java.lang.ClassNotFoundException:适用于Spark 3.0.0的org.apache.spark.sql.sources.v2.DataSourceV2

java.lang.ClassNotFoundException:运行Scala MongoDB连接器时org.apache.spark.sql.DataFrame错误

java.lang.NoClassDefFoundError:org / apache / spark / sql / SparkSession

'spark on hive' - 引起:java.lang.ClassNotFoundException:org.apache.hive.spark.counter.SparkCounters

在Spark Dataset <Row>中使用custome UDF withColumn 无法将java.lang.String强制转换为org.apache.spark.sql.Row

java.lang.ClassNotFoundException: org.apache.spark.streaming.twitter.TwitterUtils$

由于 java.lang.ClassNotFoundException 导致气流 SparkSubmitOperator 失败:class org.apache.spark.examples.SparkPi

Spark Streaming Kafka java.lang.ClassNotFoundException:org.apache.kafka.common.serialization.StringDeserializer

Apache点燃并引发itegration错误java.lang.NoSuchMethodError:org.apache.spark.sql.SQLContext.createDataFrame

java.lang.ClassNotFoundException:org.apache.commons.lang.UnhandledException

org.apache.commons.lang.SerializationException:java.lang.ClassNotFoundException

Spark-Solr错误java.lang.ClassNotFoundException:org.apache.solr.client.solrj.io.stream.expr.StreamExpressionParameter

IntelliJ:线程“主”中的异常java.lang.NoClassDefFoundError:org / apache / spark / sql / types / DataType

PySpark Mongodb / java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame

线程“主”中的异常java.lang.NoClassDefFoundError:org / apache / spark / sql / catalyst / analysis / OverrideFunctionRegistry

火花错误:java.lang.NoClassDefFoundError:org/apache/spark/sql/sources/v2/StreamWriteSupport

线程“main”中的异常 java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

java.lang.ClassNotFoundException:org.apache.commons.digester.Rule

java.lang.ClassNotFoundException:org.apache.commons.fileupload.FileItemFactory

java.lang.ClassNotFoundException:org.apache.xmlbeans.XmlException

java.lang.ClassNotFoundException:org.apache.pdfbox.multipdf.PDFMergerUtility

java.lang.ClassNotFoundException:org.apache.xmlbeans.XmlObject错误

java.lang.ClassNotFoundException:org.apache.commons.text.WordUtils

java.lang.ClassNotFoundException:org.apache.commons.logging.Log

java.lang.ClassNotFoundException: org.apache.derby.jdbc.ClientDriver

结构化 Spark Streaming 抛出 java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.internalCreateDataFrame