我有以下类型的数据：
`org.apache.spark.rdd.RDD[org.apache.spark.rdd.RDD[((String, String),Int)]] = MapPartitionsRDD[29] at map at <console>:38`
我想将这些数据写到txt文件中，使其具有类似
((like,chicken),2) ((like,dog),3) etc.
我将数据存储在一个名为 res
但是目前我尝试这样做：
res.coalesce(1).saveAsTextFile("newfile.txt")
但这似乎不起作用...
如果我的假设是正确的，那么您会感到输出应该是单个.txt文件，如果它是coalesce由一个工作人员创建的。这不是Spark的构建方式。它用于分布式工作，不应试图将其折磨成未分配输出的形式。您应该为此使用更通用的命令行工具。
话虽如此，您应该看到一个名为的文件夹newfile.txt，其中包含具有预期输出的数据文件。
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句