如何使用BTRFS对数据进行重复数据删除?

wb9688

我已经在EEE PC 701上使用文件系统BTRFS安装了Lubuntu 15.04。我想对数据进行重复数据删除,但是我不知道该怎么做。

怪胎长老

首先进行完整备份,以便在出现问题时不会丢失任何内容。

我相信你正在寻找 duperemove -d

“ Duperemove是一个简单的工具,用于查找重复的扩展区并提交以进行重复数据删除。当给定文件列表时,它将逐块对它们的内容进行哈希处理,并将这些哈希值相互比较,查找并分类彼此匹配的扩展区。当给定-d选项时,duperemove将使用btrfs-extent-same ioctl提交这些扩展以进行重复数据删除。

Duperemove有两种主要的操作模式,其中一种是另一种的子集。

只读/非重复数据删除模式

在不使用-d(默认值)的情况下运行时,duperemove将打印出一个或多个匹配范围的表,该表已确定是重复数据删除的理想候选者。结果,只读模式对于查看duperemove与'-d'一起运行时可能会执行的操作很有用。某些其他软件也可以使用输出来提交扩展数据块,以便在以后的时间进行重复数据删除。

重要的是要注意,此模式将不会打印出所有匹配范围的实例,只会打印那些会考虑重复数据删除的实例。

通常,duperemove并不关心其处理范围的基础表示。其中一些可能已压缩,正在进行I / O,甚至已经进行了重复数据删除。在重复数据删除模式下,内核会处理这些详细信息,因此我们尝试不复制该工作。

重复数据删除模式

此功能与只读模式相似,不同之处在于,在“读取,哈希和比较”步骤中找到的重复范围实际上将被提交以进行重复数据删除。操作完成后,将打印出重复数据消除后的总数据的估计值。通过比较重复数据删除前后每个文件中共享字节的总量,可以计算出此估算值。

有关运行duperemove的更多详细信息,请参见duperemove手册页。”

这似乎没有出现在btrfs-tools包中,但是这里有一个git hub页面最近可用的开放式和封闭式问题(又名脉冲)可在此处获得。

可在此PPA中找到所有当前受支持的Ubuntu版本的软件包

我必须重申,强烈建议进行备份参见:https : //github.com/markfasheh/duperemove/issues/50

引用来源:https : //github.com/markfasheh/duperemove

手册页:https : //manpages.debian.org/testing/duperemove/duperemove.8.en.html

本文收集自互联网,转载请注明来源。

如有侵权,请联系 [email protected] 删除。

编辑于
0

我来说两句

0 条评论
登录 后参与评论

相关文章

如何使用 group by 和 order by 的 LINQ DataTable 对数据进行重复数据删除

在JavaScript中对数组进行重复数据删除

使用python进行重复数据删除

Pandas 和 Python:按多个字段对数据集进行重复数据删除

是否有任何将btrfs CoW用作重复数据删除的重复数据删除脚本?

是否有任何将btrfs CoW用作重复数据删除的重复数据删除脚本?

如何将字符串转换为数组,然后在 Java 中对数组进行重复数据删除?

如何在Presto中进行重复数据删除

使用RabbitMQ进行MassTransit:重复数据删除

使用javascript / jquery对isbn进行重复数据删除

使用R中的多列进行重复数据删除

使用字典进行重复数据删除的更好方法?

对数组进行重复数据删除,同时转换项目

对数组中先前的相似条目进行重复数据删除

如何使用哈希表对以下数组进行重复数据删除

如何使用commons-beanutils对beanutils依赖项进行重复数据删除?

使用熊猫如何对正在读取的文件进行重复数据删除?

使用Array.prototype.filter()不会对数组重复数据删除

如何在只删除连续重复项的字符串中进行重复数据删除

如何删除Avahi地址的重复数据?

如何删除对象列表的重复数据?

如何删除从API获得的重复数据?

如何从GridView中删除重复数据?

什么是对多元数据进行重复数据删除的最快方法?

如何在将数据保存在 SQL 中的同时进行重复数据删除

根据时间窗口对重复数据进行重复数据删除

使用RabbitMQ发布/订阅微服务事件总线时如何对事件进行重复数据删除

删除重复数据mysql

重复数据删除水平