通过Node / Express服务器将大文件(2GB +)流式传输到Google Cloud Storage存储桶

罗斯·白波

我正在寻找从应用程序客户端将大文件(大于1GB)上传到Google Cloud Storage存储桶的最佳方法。

存储桶是私有的,我目前正在尝试将文件发送到我的节点/ Express Server并将其流式传输到我的GCS存储桶。我认为由于服务器上的文件大小限制,我遇到了问题。适用于较小的文件,但我用来测试的1GB文件没有通过。

这些是我正在探索的替代方法:

  • 文件拆分客户端,然后在发送到GCS之前重新组装服务器端
  • 通过Google IAM API(GCS写访问权)创建一个临时服务帐户,将此帐户发送给客户端以能够上传文件,并在确认上传后删除帐户(不理想,因为它公开了服务帐户)
  • ???

只是想在此时指向正确的方向。

布兰登·雅伯

最直接的转移是从客户端直接转移到GCS。您可能希望向客户端发送一个签名的URL,他们将使用该URL来启动然后执行上传。您可能希望使用可恢复的上载,除非您期望客户的互联网速度足够快而无需打扰。

让客户上传到某个暂存的GCS存储桶中,然后通知您的应用程序上传完成是一个好主意,这时您的应用程序会将其复制到最终存储桶中(如果对象是在相同的区域和存储类别中),但这不是必需的。

除非您想以某种方式进行转换或透明地使用多个云提供商,否则我可能会尽量避免通过您的应用程序流式传输数据。

创建一次性服务帐户可能不是一个好主意。我不确定对这些限制有什么用,但是您可能会遇到扩大规模的问题。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

从Google Cloud Storage流式传输文件

如何使用JSON API和CloseableHttpClient将文件上传到Google Cloud Storage存储桶?

将大文件从Google BigQuery传输到Google Cloud Storage

如何通过Python将Google Cloud Storage中的文件从一个存储桶移动到另一个存储桶

以编程方式将文件从Azure Blob存储传输到Google Cloud Storage

将Google Cloud Storage存储桶中的所有文件默认设置为gzip

为Google Cloud Storage存储桶启用Web服务器访问日志

使用Tornado将二进制文件流式传输到Google Storage

使用Google DataFlow对直接将数据流式传输到Cloud SQL的简单查询

如何通过socket.io将实时音频从浏览器流式传输到Google Cloud Speech?

在Google Cloud Storage上还原存储桶

Google Cloud Functions-Cloud Storage存储桶触发器延迟触发

如何仅通过使用npm GCS客户端发送图像URL在Google Cloud Storage存储桶中下载/存储图像/文件?

通过http下载并使用Node.js流传输到Google Cloud存储

如何使用Google Cloud Function将文件从Cloud Storage存储桶中推送到实例中?

将源文件存储在Google Dataproc HDFS与Google Cloud Storage(Google存储桶)中

将数据从Google云端存储流式传输到FTP服务器

从Google Cloud Function(Python)将新文件写入Google Cloud Storage存储桶

通过Flask API将上传的文件流式传输到MinIO存储

是否可以在Firebase / Google Cloud Storage存储桶上设置文件夹或存储桶级别的“ cacheControl”设置?

我的Google Cloud Storage存储桶中的文件在哪里?

如何限制Google Cloud Storage存储桶的文件类型?

将文件从 S3 存储桶复制到 Google Cloud Storage

将“Azure Blob 存储”文件 URL 流式传输到 Amazon S3 存储桶

在 Google Cloud Storage 中的项目/存储桶之间同步文件

如何使用 Google Cloud Storage 将文件夹目标设置到存储桶中?

如何使用 gsutil 将文件从 Google Cloud Storage 存储桶 1 复制到存储桶 2,同时保留 ACL

Google Cloud Storage 存储桶的扩展授权

努力从 Google Cloud Storage 存储桶中读取 csv 文件