下面是我来自Spark 1.6的代码。我正在尝试将其转换为Spark 2.3,但是使用split却出现错误。
Spark 1.6代码:
val file = spark.textFile(args(0))
val mapping = file.map(_.split('/t')).map(a => a(1))
mapping.saveAsTextFile(args(1))
Spark 2.3代码:
val file = spark.read.text(args(0))
val mapping = file.map(_.split('/t')).map(a => a(1)) //Getting Error Here
mapping.write.text(args(1))
错误信息:
value split is not a member of org.apache.spark.sql.Row
与spark.textFile
which返回a不同RDD
,spark.read.text返回aDataFrame
实际上是a RDD[Row]
。您可以执行map
部分功能,如以下示例所示:
// /path/to/textfile:
// a b c
// d e f
import org.apache.spark.sql.Row
val df = spark.read.text("/path/to/textfile")
df.map{ case Row(s: String) => s.split("\\t") }.map(_(1)).show
// +-----+
// |value|
// +-----+
// | b|
// | e|
// +-----+
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句