我无法弄清楚我在这里做错了什么。
目标是将 Firestore 数据导出到 Cloud Storage,然后将其导入 Big Query。
我所做的是: gcloud beta firestore export gs://[bucket]/bigQuery20191018_userprofile --collection-i ds='userprofile'
从 Big Query 中,我尝试在 Web UI 中添加表,但收到此错误:
读取数据时出错,错误消息:Apache Avro 库无法解析标头,出现以下错误:数据文件无效。魔术不匹配:/subrange//bigstore/[bucket]/bigQuery20191018_userprofile/all_namespaces/kind_userprofile/all_namespaces_kind_userprofile.export_metadata
我正在使用特定于集合的文件夹中的 export_metadata。我还以某个特定于该集合的奇怪机会导出了其他集合,但无论来源如何,我都会看到相同的错误。
作为参考,我只是在关注
导出:https : //cloud.google.com/firestore/docs/manage-data/export-import
导入:https : //cloud.google.com/bigquery/docs/loading-data-cloud-firestore
任何帮助将不胜感激。
谢谢你。
我有一个类似的问题,这是由于在导入时没有选择正确的文件格式(Avro 与云数据存储备份)。查看文档的这一部分,看看是否能解决它:
对于文件格式,选择云数据存储备份。Cloud Datastore Backup 是 Cloud Firestore 的正确选项。Cloud Firestore 和 Cloud Datastore 共享一种导出格式。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句