我正在尝试编写将RDD转换为数据集的示例Apache Spark程序。但是在此过程中，我遇到了编译时错误。
这是我的示例代码和错误：
码：
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext
import org.apache.spark.sql.Dataset
object Hello {
case class Person(name: String, age: Int)
def main(args: Array[String]){
val conf = new SparkConf()
.setAppName("first example")
.setMaster("local")
val sc = new SparkContext(conf)
val peopleRDD: RDD[Person] = sc.parallelize(Seq(Person("John", 27)))
val people = peopleRDD.toDS
}
}
我的错误是：
value toDS is not a member of org.apache.spark.rdd.RDD[Person]
我添加了Spark核心和Spark SQL jar。
我的版本是：
星火1.6.2
斯卡拉2.10
toDS 可用于 sqlContext.implicits._
val sqlContext = new SQLContext(sc);
import sqlContext.implicits._
val people = peopleRDD.toDS()
val spark: SparkSession = SparkSession.builder
.config(conf)
.getOrCreate;
import spark.implicits._
val people = peopleRDD.toDS()
HIH
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句