我正在研究AWS EMR集群。我的S3储存装置上有资料。清理数据后，我将通过s3fs库再次发送到S3存储。该代码适用于大小在200-500 mb之间的文件。但是，当我在2.0和2.5 GB大小之间上传时。该代码给出了一个错误，即“ MemoryError”。你们对这个问题有任何想法或经验吗？
import s3fs
bytes_to_write = nyc_green_20161.to_csv(None).encode()
fs = s3fs.S3FileSystem(key='#', secret='#')
with fs.open('s3://ludditiesnyctaxi/new/2016/yellow/yellow_1.csv', 'wb') as f:
f.write(bytes_to_write)
我处理此问题以拆分我的csv文件。这篇文章解释了如何在python中拆分csv文件并将一个csv拆分为多个文件
本文收集自互联网，转载请注明来源。
如有侵权，请联系 [email protected] 删除。
我来说两句