Scala Spark-将RDD [List [scala.Double]]转换为RDD [scala.Double]

ZhongBot

我正在调用mllib Statistics.corr()函数并收到以下错误:

(x:org.apache.spark.api.java.JavaRDD [java.lang.Double],y:org.apache.spark.api.java.JavaRDD [java.lang.Double],方法:字符串)scala.Double (x:org.apache.spark.rdd.RDD [scala.Double],y:org.apache.spark.rdd.RDD [scala.Double],方法:String)scala.Double无法应用于(org.apache .spark.rdd.RDD [列表[scala.Double]],org.apache.spark.rdd.RDD [列表[scala.Double]],字符串)

println(Statistics.corr(a, b, "pearson"))

我需要怎么做才能将数据类型转换为正确的corr()输入类型?

mattinbits

尝试使用flatMap具有身份功能的:

val doubleRDD = listDoubleRDD.flatMap(identity)

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章