我正在使用s3fs将很多文件装载到S3存储桶中。除了我的本地磁盘空间也增长很多(/ tmp目录中的内容)之外,它还可以正常工作。
我的命令是:
$ su ec2-user -c '/usr/bin/s3fs my-bucket-name -o use_cache=/tmp /home/ec2-user/dir'`
我正在使用use_cache
参数,但实际上缓存了什么?是否仍需要将这些文件上传到s3并缓存在本地计算机上?是否可以在上传/挂载期间将其删除?如果我将其关闭(如果用于其他目的),上传的速度会更快吗?
从s3fs Wiki(很难找到)。
如果通过“ use_cache”选项启用,则s3fs会自动在use_cache指定的文件夹中维护文件的本地缓存。每当s3fs需要在s3上读取或写入文件时,它首先会在本地将整个文件下载到use_cache指定的文件夹中并对其进行操作。调用保险丝release()时,如果文件已更改,则s3fs会将文件重新上传到s3。s3fs使用md5校验和来最大程度地减少从s3的下载。注意:这与统计信息缓存不同(请参见下文)。
本地文件缓存通过计算和比较md5校验和(ETag HTTP标头)来工作。
use_cache指定的文件夹只是本地缓存。可以随时将其删除。s3fs按需重建它。注意:此目录可以无限扩展,并且可以根据存储桶填充文件系统并读取该存储桶。
本文收集自互联网,转载请注明来源。
如有侵权,请联系 [email protected] 删除。
我来说两句