如何在Amazon s3存储桶中压缩文件并获取其URL

杰夫·阿扬:

我在Amazon s3存储桶中有一堆文件,我想压缩这些文件并使用Java Spring通过S3 URL下载获取内容。

讨论:

S3不是文件服务器,也不提供操作系统文件服务,例如数据处理。

如果有很多“巨大”文件,那么最好的选择是

  1. 启动一个简单的EC2实例
  2. 将所有这些文件下载到EC2实例,进行压缩,然后使用新的对象名称将其重新上传回S3存储桶

是的,您可以使用AWS lambda执行相同的操作,但是lambda的执行超时限制为900秒(15分钟)(因此建议分配更多的RAM以提高lambda的执行性能)

从S3到本地EC2实例等服务的流量是免费的。

如果您的主要目的只是使用EC2 / etc服务读取同一AWS区域内的那些文件,那么您无需执行此额外步骤。只需直接访问文件。

注意 :

建议使用AWS API访问和共享文件。如果打算公开共享文件,则必须认真研究安全问题并施加下载限制。AWS流量到互联网绝不便宜。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何使用 cli 访问 s3 存储桶中的文件以获取其他命令

如何从Amazon S3存储桶中的文件夹中获取所有文件?

如何在Amazon S3存储桶中创建新文件夹?

如何在进度栏中显示文件上传进度-Amazon S3存储桶

如何在 lambda 函数中处理来自 Amazon S3 存储桶的多个 CSV 文件?

在 Laravel 中压缩和下载 Amazon S3 存储桶文件和文件夹

Amazon S3:如何获取存储桶中的文件夹列表?

如何在node.js中的amazon s3中获取存储桶中任何资源的最后访问日期?

如何在使用Cloudfront上传的S3存储桶中获取文件?

如何在Amazon AWS S3存储桶中找到未加密的文件?

如何在我的春季启动代码中处理Amazon S3存储桶的404错误

Amazon S3在版本存储桶中管理文件

无法替换Amazon S3存储桶中的文件

如何使用golang从Amazon S3存储桶的子文件夹中获取对象列表?

如何在Java中从S3读取Snappy压缩文件

如何从 s3 存储桶中获取 Pyspark 中带有前缀的文件?

Mule ESB:如何获取所有存储在Amazon S3存储桶内的文件夹中的文件(获取对象内容)

如何从连接到 S3 存储桶的 SNS 中获取文件密钥

如何使用Terraform在Amazon S3存储桶中创建文件夹

如何遍历S3存储桶中的文件?

如何加载S3存储桶中的zip文件?

如何从S3存储桶中复制文件

如何在mac上正确压缩文件以通过python从s3解压缩?

将“Azure Blob 存储”文件 URL 流式传输到 Amazon S3 存储桶

如何将多个压缩文件从S3读取到单个RDD中?

如何在Amazon S3存储桶上设置公共只读访问权限?

如何在动态Amazon S3存储桶中使用Django FileField?

如何在Django模板中显示存储在Amazon S3中的媒体文件?

如何设置aws-sdk从s3存储桶中的公共文件中获取文件内容?