sbt package运行得很好，但之后spark-submit我得到的错误：
线程“主”中的异常java.lang.NoSuchMethodError：org.apache.spark.SparkContext $ .rddToPairRDDFunctions（Lorg / apache / spark / rdd / RDD; Lscala / reflect / ClassTag; Lscala / reflect / ClassTag; Lscala / math / Ordering ;）Lorg / apache / spark / rdd / PairRDDFunctions; 在烟囱$。主要（SmokeStack.scala：46）在太阳SmokeStack.main（SmokeStack.scala）在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）在sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62） .reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43），位于org.apache.spark.deploy.SparkSubmit $ .org $ apache $ spark $ deploy $的java.lang.reflect.Method.invoke（Method.java:498） SparkSubmit $$ runMain（SparkSubmit.scala：736）在org.apache.spark.deploy.SparkSubmit $ .doRunMain $ 1（SparkSubmit.scala：185）在org.apache.spark.deploy.SparkSubmit $ .submit（SparkSubmit。
这是有问题的行：
val sigCounts = rowData.map(row => (row("Signature"), 1)).countByKey()
rowData是RDD Map [String，String]。地图中的所有项目中都存在“签名”键。
我怀疑这可能是构建问题。以下是我的sbt文件：
name := "Example1"
version := "0.1"
scalaVersion := "2.11.8"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
scalacOptions ++= Seq("-feature")
我是Scala的新手，所以也许导入不正确？我有：
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import scala.io.Source
java.lang.NoSuchMethodError 通常表明，编译代码所依据的版本比运行时使用的库的版本高。
使用Spark，这意味着用于编译的Spark版本与（在计算机或群集上）部署的Spark版本不同。
在开发和运行时之间调整版本应该可以解决此问题。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句