如何在Intellij中运行Spark Scala应用程序

user_s 发表于 Dev

user_s

我试图在Hortonworks沙箱上使用Intellij运行一个简单的Spark应用程序。我打开了一个新的SBT项目，然后创建了一个Scala类：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "/root/temp.txt"
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    println(logData .count())
  }
}

这是我的build.sbt：

name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" % "spark-core" % "1.3.0" % "provided"

现在右键单击此类-> run会引发异常：

exception in thread main java.lang.noclassdeffounderror: org/apache/Spark/SparkConf

显然我做错了，但是我可以在依赖项列表上看到spark库。有什么帮助吗？（顺便说一句，通过SBT Scala控制台运行该程序非常有效）

贝汉·古尔

跑

object SimpleApp extends App {
  def main(args: Array[String]) {
    val logFile = "/root/temp.txt"
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    val logData = sc.textFile(logFile, 2).cache()
    println(logData .count())
  }
}

本文收集自互联网，转载请注明来源。

如有侵权，请联系 [email protected] 删除。