如何在IntelliJ IDEA中创建Spark / Scala项目(无法解析build.sbt中的依赖项)?

用户名

我正在尝试在IntelliJ IDEA中构建和运行Scala / Spark项目。

我添加org.apache.spark:spark-sql_2.11:2.0.0了全局库,并且build.sbt外观如下。

name := "test"

version := "1.0"

scalaVersion := "2.11.8"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.0.0"
libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.0.0"

我仍然收到错误消息

未知的伪像。无法解析或编制索引

spark-sql

尝试构建项目时,错误是

错误:(19、26)未找到:类型sqlContext,val sqlContext = new sqlContext(sc)

我不知道可能是什么问题。如何在IntelliJ IDEA中创建Spark / Scala项目?

更新:按照建议,我更新了要使用的代码Spark Session,但仍然无法读取csv文件。我在这里做错了什么?谢谢!

 val spark = SparkSession
.builder()
.appName("Spark example")
.config("spark.some.config.option", "some value")
.getOrCreate()

import spark.implicits._

val testdf = spark.read.csv("/Users/H/Desktop/S_CR_IP_H.dat")
testdf.show()  //it doesn't show anything 
//pdf.select("DATE_KEY").show()
拉梅什·马哈然(Ramesh Maharjan)

sql应该如下大写字母

val sqlContext = new SQLContext(sc)

SQLContext 不推荐使用新版本的spark,因此建议您使用 SparkSession

val spark = SparkSession.builder().appName("testings").getOrCreate 
val sqlContext = spark.sqlContext

如果要master通过代码而不是fromspark-submit命令来设置.master则也可以进行设置(也可以进行设置configs

val spark = SparkSession.builder().appName("testings").master("local").config("configuration key", "configuration value").getOrCreate 
val sqlContext = spark.sqlContext

更新资料

查看您的样本数据

DATE|PID|TYPE
8/03/2017|10199786|O

并测试您的代码

val testdf = spark.read.csv("/Users/H/Desktop/S_CR_IP_H.dat")
testdf.show()

我已经输出为

+--------------------+
|                 _c0|
+--------------------+
|       DATE|PID|TYPE|
|8/03/2017|10199786|O|
+--------------------+

现在加入.optiondelimiterheader作为

val testdf2 = spark.read.option("delimiter", "|").option("header", true).csv("/Users/H/Desktop/S_CR_IP_H.dat")
testdf2.show()

输出原为

+---------+--------+----+
|     DATE|     PID|TYPE|
+---------+--------+----+
|8/03/2017|10199786|   O|
+---------+--------+----+

:我已经使用.master("local")SparkSession对象

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何在build.sbt中定义Jackson数据绑定依赖项?

如何在IntelliJ Idea 13中创建静态Web项目?

如何在IntelliJ IDEA中创建JavaFX Maven项目?

如何在IntelliJ IDEA 13中创建JAXB项目?

使用IntelliJ,如何在sbt项目中添加依赖项

IntelliJ IDEA中的Maven依赖项“无法解析符号VectorAssembler'”

如何在sbt配置中添加github java依赖项?

如何找出哪个依赖项包含SBT中Play / Scala的错误版本

更改后,如何强制IntelliJ IDEA从build.sbt重新加载依赖项?

build.sbt:如何添加Spark依赖项

如何在intellij和scala中为spark创建Maven项目

如何在IntelliJ IDEA中创建补丁?

在SBT 1.3.8中,如何确定谁带来了依赖项?

在build.sbt中,父项目中的依赖项未反映在子模块中

如何在Intellij IDEA 13.0.1社区中创建基于Gradle的Java项目

如何在IntelliJ IDEA 14 Community Edition中创建Play项目?

在sbt的build.sbt文件中添加模块依赖项信息

Intellij Idea中的SBT依赖关系问题

SBT中的可选依赖项

我是否应该将scala-compiler作为依赖项包含在build.sbt中?

如何在TeamCity中获取项目依赖项的检出目录?

如何在Gradle中从父项目获取依赖项版本

如何在Gradle中迭代项目的依赖项

如何在Maven中处理子项目依赖项

如何在C中解析循环结构依赖项

为什么我用intellij idea创建一个scala项目时下载sbt依赖项需要花费这么长时间?

如何在sbt-assembly jar中包括测试依赖项?

如何在Intellij Idea中更改项目的Java版本?

如何在 IntelliJ IDEA 中配置新的 Maven 项目?