将文件从s3复制到本地?

用户13542716

我的s3存储桶中有很多文件,因此是否可以使用aws cli命令在s3中查找带有前缀名称的最新文件?以及如何将文件从s3复制到本地文件夹?我可以使用Boto3或python库执行此操作吗?

约翰·罗滕斯坦

这是在Python中执行此操作的示例:

import boto3

s3_client = boto3.client('s3')

response = s3_client.list_objects_v2(Bucket='MY-BUCKET', Prefix='foo/')
objects = sorted(response['Contents'], key=lambda obj: obj['LastModified'])

## Latest object
latest_object = objects[-1]['Key']
filename = latest_object[latest_object.rfind('/')+1:] # Remove path

# Download it to current directory
s3_client.download_file('MY-BUCKET', latest_object, filename)

基本上,您将获得所有对象,然后按对其进行排序LastModified

请注意,该list_objects_v2()命令最多只能返回1000个对象。如果存储桶中有更多存储桶,则需要循环或使用分页器。请参阅:分页器— Boto3文档

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

将文件从s3://复制到本地(hadoop)文件系统时出现错误

Laravel 5:如何将本地文件复制到Amazon S3?

使用Lambda将文件从S3复制到本地EMR

s3cmd:将文件从s3中的加密存储桶复制到本地计算机

AWS s3是否将s3:// mybucket s3:// mybucket2同步文件复制到本地?

将文件列表从 S3 存储桶复制到 S3 存储桶

使用前缀将数据从s3复制到本地

使用S3DistCp将文件从S3复制到EMR

将文件从Box文件夹复制到AWS s3存储桶

将文件从gcs复制到boto3中的s3

使用 boto3 和 ftplib 将文件从 FTP 复制到 S3 存储桶,而不将数据保存到本地驱动器

尝试将文件复制到AWS S3存储时出错

防止 rclone 将文件重新复制到 AWS S3 Deep Archive

使用过滤器将文件从 S3 增量复制到 EBS 存储

使用NodeJS将文件不完整地复制到Amazon S3

将文件从GCS复制到AWS S3时如何设置ACL?

将文件从 AWS s3 (SSE) 存储桶复制到谷歌云

无法将文件从S3复制到EC2实例

将 Python 中的大文件复制到 S3 存储桶时出现 OSError

将多个文件从 hadoop 复制到 s3 存储桶

将压缩文件从S3复制到redshift(stl-load-error)

将文件从 AWS S3 复制到 Azure 存储存档层

将文件从 S3 存储桶复制到 Google Cloud Storage

我无法将主文件夹复制到 s3 存储桶

将数据从S3复制到Redshift

将数据从Amazon s3复制到redshift

将数据从 Marklogic 复制到 Amazon S3

每次将文件发布到存储桶时都将 s3 文件复制到 ec2?

将文件复制到S3中的文件夹最终位于父文件夹