我正在使用Spark 1.3.1（PySpark），并且已经使用SQL查询生成了一个表。我现在有一个对象是DataFrame。我想将此DataFrame对象（我称其为“表”）导出到一个csv文件，以便我可以操纵它并绘制列。如何将DataFrame“表格” 导出到csv文件？
谢谢！
如果数据帧适合驱动程序内存，并且您想保存到本地文件系统，则可以使用方法将Spark DataFrame转换为本地Pandas DataFrametoPandas，然后简单地使用to_csv：
df.toPandas().to_csv('mycsv.csv')
否则，您可以使用spark-csv：
火花1.3
df.save('mycsv.csv', 'com.databricks.spark.csv')
火花1.4+
df.write.format('com.databricks.spark.csv').save('mycsv.csv')
在Spark 2.0+中，您可以csv直接使用数据源：
df.write.csv('mycsv.csv')
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句