将木地板转换为CSV

乔:

如何在没有Spark的情况下从本地文件系统(例如python,某些库等)将Parquet转换为CSV?(试图找到尽可能简单和极简的解决方案,因为需要使所有内容自动化并且没有太多资源)。

parquet-tools在Mac上尝试了例如,但数据输出看起来不正确。

需要进行输出,以便当某些列中不存在数据时-CSV将具有对应的NULL(2个逗号之间的空列)。

谢谢。

Uwe L.Korn:

您可以通过使用Python包pandaspyarrow(这pyarrowpandas此功能所需的可选依赖项)来实现。

import pandas as pd
df = pd.read_parquet('filename.parquet')
df.to_csv('filename.csv')

当您需要修改文件中的内容时,可以对进行标准pandas操作df

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何将镶木地板文件复制并转换为CSV

如何使用.NET Core将镶木地板文件转换为CSV?

使用 Dask 将大于 RAM 的 csv 转换为镶木地板

如何在 Azure 数据工厂中将 csv 转换为镶木地板

如何将 ndarray/多维数组转换为镶木地板文件?

如何使用Spark将镶木地板数据转换为案例类?

将MySQL表转换为镶木地板时出现火花异常

将镶木地板文件转换为熊猫然后查询会出错

如何使用Databricks将.rdata文件转换为Azure数据湖中的镶木地板?

如何在没有火花的情况下将hadoop avro,镶木地板以及文本文件转换为csv

将CSV转换为Kedro的实木复合地板

通过Python将镶木地板int96时间戳转换为日期时间/日期

巨大的倾斜数据,需要分区并转换为镶木地板

使用pyspark将zip压缩的csv转换为实木复合地板

使用AWS Boto将文件从CSV转换为S3上的拼花地板

使用dask将CSV文件转换为实木复合地板(jupyter内核崩溃)

将多个目录的CSV文件转换为PySpark中的实木复合地板

如何将记录从镶木地板写入另一个镶木地板?

从Spark将许多文件写入木地板-缺少一些木地板文件

将xlsx转换为实木复合地板

使用pandas.DataFrame将镶木地板文件写入CSV文件时如何防止表格格式?

将轻快的数据帧写入镶木地板:'TypeError'

使用dask将木地板文件拆分为较小的块

将数据递增地写入镶木地板文件

将木地板工具与Kerberos CDH一起使用

从Spark将镶木地板存储到Kerberos安全的Webhdfs

使用反射将pojo写入镶木地板文件

Spark 2.2无法将df写入镶木地板

将列从 txt 调整为镶木地板