数据框很大(7-8百万行)。尝试使用chunksize = 5000的to_sql,但从未完成。
使用,
from sqlalchemy import create_engine
from snowflake.sqlalchemy import URL
df.to_sql(snowflake_table , engine, if_exists='replace', index=False, index_label=None, chunksize=20000)
从熊猫DF将数据存储到SF的其他最佳解决方案还有哪些?还是我在这里做错了什么?DF的大小通常为7-10百万行。
ilja-everila指出的最佳方法是“复制到...”,因为SF要求在转换之前将csv暂存在云上,我对此犹豫不决,但是鉴于性能在5至10分钟即可获得650万条记录。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句