加载将 Cloud Storage 导出到 Big Query 的 Firestore 数据时出现 Apache Avro 错误

克里斯

我无法弄清楚我在这里做错了什么。

目标是将 Firestore 数据导出到 Cloud Storage,然后将其导入 Big Query。

我所做的是: gcloud beta firestore export gs://[bucket]/bigQuery20191018_userprofile --collection-i ds='userprofile'

从 Big Query 中,我尝试在 Web UI 中添加表,但收到此错误:

读取数据时出错,错误消息:Apache Avro 库无法解析标头,出现以下错误:数据文件无效。魔术不匹配:/subrange//bigstore/[bucket]/bigQuery20191018_userprofile/all_namespaces/kind_userprofile/all_namespaces_kind_userprofile.export_metadata

我正在使用特定于集合的文件夹中的 export_metadata。我还以某个特定于该集合的奇怪机会导出了其他集合,但无论来源如何,我都会看到相同的错误。

作为参考,我只是在关注

导出:https : //cloud.google.com/firestore/docs/manage-data/export-import

导入:https : //cloud.google.com/bigquery/docs/loading-data-cloud-firestore

任何帮助将不胜感激。

谢谢你。

保罗·盖尔帕

我有一个类似的问题,这是由于在导入时没有选择正确的文件格式(Avro 与云数据存储备份)。查看文档的这一部分,看看是否能解决它:

对于文件格式,选择云数据存储备份。Cloud Datastore Backup 是 Cloud Firestore 的正确选项。Cloud Firestore 和 Cloud Datastore 共享一种导出格式。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

是否可以将Firestore数据导出到本地文件路径而不是Cloud Storage路径?

是否可以将Firebase Cloud Firestore数据导出到Postgresql?

将数据导出到Excel时出现Pandas错误

在将数据从bigquery导出到Google Cloud Storage时控制文件大小

权限错误,将表格从Google BigQuery导出到Google Cloud Storage

不使用Google Cloud Storage将BigQuery数据导出到CSV

将数据从Google Cloud Storage导出到Amazon S3

从Google Cloud Storage加载CSV文件时出现BigQuery错误

从Windows将项目导出到Debian时出现Mysql错误

将GridView数据导出到Excel工作表出现错误

从Google Cloud Storage流数据流到Big Query

将数据库表导出到 Excel AnyLogic 时出现“错误:java.sql.SQLException”

使用SQLAlchemy将熊猫数据框导出到MySQL时出现操作错误2055

将Scrapy数据导出到Elasticsearch时出现唯一键错误

在 MacOS Big Sur 上导出到 $JAVA_HOME 时出现权限错误

Google Cloud Storage/Big Query 成本估算

使用Heroku数据剪辑将PostgreSQL数据库导出到csv时出现SQL语法错误

Cloud SQL:定期将数据导出到 CSV,避免重复

每天如何将数据从Cloud SQL导出到BigQuery?

将数据从 Cloud SQL 导入/导出到 CSV 文件

尝试将数据加载到Data Lake Storage Gen1时出现NameOrService未知错误

导出到 Cloud Storage 时,Google Cloud Logging 接收器如何工作?导出的格式是什么?

将结果导出到CSV时发生系统对象错误

使用 Firestore Cloud Function 将所有记录导出到 Algolia 索引

将数据从Xpages导出到Excel时出现歧义行

Confluent Kafka GCS(Google Cloud Storage)连接器在加载属性文件时出现解析错误

使用Eclipse将Java项目导出到JAR时出现“重复条目”错误

将函数导出到app.js时出现NodeJS错误

当我尝试将r-markdown导出到pdf时出现错误