oozie spark 2.0操作给出异常：java.lang.NoClassDefFoundError：org / apache / spark / internal / Logging

Yash 发表于 Dev

砷化氢

我尝试使用oozie运行火花动作时遇到以下异常

ERROR yarn.ApplicationMaster: User class threw exception: java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
java.lang.NoClassDefFoundError: org/apache/spark/internal/Logging
    at java.lang.ClassLoader.defineClass1(Native Method)
    at java.lang.ClassLoader.defineClass(ClassLoader.java:763)
    at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
    at java.net.URLClassLoader.defineClass(URLClassLoader.java:467)
    at java.net.URLClassLoader.access$100(URLClassLoader.java:73)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:368)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:362)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:361)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at org.apache.spark.sql.SparkSession$.builder(SparkSession.scala:861)
    at com.spark.morbiditymerge.MorbidityProcessMessage$.main(MorbidityProcessMessage.scala:19)
    at com.spark.morbiditymerge.MorbidityProcessMessage.main(MorbidityProcessMessage.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:542)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.internal.Logging
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 20 more

Spark代码在Eclipse中在本地运行良好。但是，在尝试使用oozie运行它时遇到了上述异常。

我正在使用Spark 2.0和Scala 2.11.8。我在pom文件中包含了所有spark 2.0依赖项。

我在cloudera文档中阅读到不支持Oozie Spark2 Action。这就是为什么我得到这个例外的原因吗？如果是，还有其他方法可以使用oozie运行spark 2.0作业吗？

m_kinsey

我也遇到了这个问题，并且能够找到解决方法。创建一个Oozie Shell动作，该动作spark2-submit使用必要的参数进行调用。

否则，如果您希望在CDH上使用spark操作，则可以考虑在1.6中重写代码。

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。