s3fs在/ tmp中缓存什么?

牛仔

我正在使用s3fs将很多文件装载到S3存储桶中。除了我的本地磁盘空间也增长很多(/ tmp目录中的内容)之外,它还可以正常工作。

我的命令是:

$ su ec2-user -c '/usr/bin/s3fs my-bucket-name -o use_cache=/tmp /home/ec2-user/dir'`

我正在使用use_cache参数,但实际上缓存了什么?是否仍需要将这些文件上传到s3并缓存在本地计算机上?是否可以在上传/挂载期间将其删除?如果我将其关闭(如果用于其他目的),上传的速度会更快吗?

西式

s3fs Wiki(很难找到)。

如果通过“ use_cache”选项启用,则s3fs会自动在use_cache指定的文件夹中维护文件的本地缓存。每当s3fs需要在s3上读取或写入文件时,它首先会在本地将整个文件下载到use_cache指定的文件夹中并对其进行操作。调用保险丝release()时,如果文件已更改,则s3fs会将文件重新上传到s3。s3fs使用md5校验和来最大程度地减少从s3的下载。注意:这与统计信息缓存不同(请参见下文)。

本地文件缓存通过计算和比较md5校验和(ETag HTTP标头)来工作。

use_cache指定的文件夹只是本地缓存。可以随时将其删除。s3fs按需重建它。注意:此目录可以无限扩展,并且可以根据存储桶填充文件系统并读取该存储桶。

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

NotImplementedError:不支持文本模式,使用mode ='wb'并管理s3fs中的字节

什么相当于使用 s3fs 在 aws s3 中连接到谷歌云存储(gcs)?

当我没有使用 Docker 的 Js 时,为什么 s3fs 显示“无效选项 -- 'j'”?

s3fs 突然停止在 Google Colab 中工作,出现错误“AttributeError: module 'aiobotocore' has no attribute 'AioSession'”

使用 s3fs 下载文件

Pyarrow s3fs按时间戳划分

熊猫数据框上的s3fs gzip压缩

s3fs自定义端点网址

使用s3fs更新日志文件

如何使用s3fs处理大文件?

s3fs和ubuntu的文件权限

s3fs和ubuntu的文件权限

在 RHEL 6 系统上安装 S3FS 的问题

使用 s3fs 安装 S3 存储桶的问题

跟踪S3成本(S3FS)

在Amazon CentOS上使用s3fs自动安装S3存储桶

使用NodeJS和S3FS / multiparty将文件上传到Amazon S3

Python AWS S3FS API:手动设置代理服务器

S3fs无法访问存储桶权限被拒绝

Incrontab不会在s3fs挂载上检测到修改

由于未连接传输端点,S3fs引发错误

s3fs 可以同时挂载不同的bucket 和不同的账户吗?

在 s3fs.S3FileSystem 中设置超时的正确方法是什么?

如何使用 S3FS 挂载 AWS s3 以允许对任何用户进行完全访问

s3fs将Amazon S3存储桶作为本地目录挂载的稳定性如何

s3fs:如何使用 IMDS v2 在代理后面的 AWS EC2 实例上挂载 S3 存储桶

ImportError:缺少可选依赖项“ S3F”。需要S3Fs软件包才能处理S3文件。使用pip或conda安装S3F

为什么即使没有任何缓存设置,CloudFront 也会缓存 s3 对象?

为什么小整数缓存似乎无法与Python 3中round()函数中的int对象一起使用?