将数据从熊猫存储到雪花的最佳方法

abdthe1:

数据框很大(7-8百万行)。尝试使用chunksize = 5000的to_sql,但从未完成。

使用,

from sqlalchemy import create_engine
from snowflake.sqlalchemy import URL

df.to_sql(snowflake_table , engine, if_exists='replace', index=False, index_label=None, chunksize=20000)

从熊猫DF将数据存储到SF的其他最佳解决方案还有哪些?还是我在这里做错了什么?DF的大小通常为7-10百万行。

abdthe1:

ilja-everila指出的最佳方法是“复制到...”,因为SF要求在转换之前将csv暂存在云上,我对此犹豫不决,但是鉴于性能在5至10分钟即可获得650万条记录。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

将JSON数据存储到Core Data的最佳方法

将数据存储到客户端的最佳方法

将golang map [string]接口存储到数据存储中的最佳方法

将tcp上的数据流存储到大型阵列中的最佳方法是什么?

将数据从Firebase存储到SQLite或在flutter中脱机的最佳方法是什么?

是否有最佳方法将数据从雪花获取到s3

将数据写入熊猫数据框的最佳方法

通过某些(索引)参数将值插入到熊猫数据框的“适当”位置的最佳方法是什么?

将日期从CSV文件存储到SQL的最佳方法

MySQL存储数据的最佳方法

存储大量数据的最佳方法

从Java保护将数据发布到URL的最佳方法

将 json 数据存储到数据库中的最佳实践

将github存储库克隆到另一个github存储库的最佳方法

熊猫GroupBy对象到数据框,将数据存储在以逗号分隔的文件中

将大熊猫数据帧发送到SQL数据库的最佳方法?

熊猫数据框到云存储桶

熊猫将字典存储到json中

这是将数据存储到SQL Server的最快方法吗?

如何将表单数据发布到存储方法?

重塑熊猫数据框的最佳方法

缓存熊猫数据框的最佳方法?

子集熊猫数据框的最佳方法

将数据存储到列表

熊猫:将每行数据存储到以列名为键的字典中

使用列和行将值存储到Java数据结构中的最佳方法

将用户地址存储到欧洲数据库的最佳方法?

将二叉搜索树节点存储到图顶点的最佳方法

将正在运行的进程中的多个值存储到bash中的变量中的最佳方法