⼤批量数据复制⼯具Fastcopy评测⼯作中需要从服务器拷贝10T数据,使⽤Fastcopy进⾏测试。
1,fastcopy,版本v3.92,⽂件很⼩,总共不到1MB
第⼀步,选择来源和⽬标⽬录;
第⼆步,选择操作模式,此软件⽀持复制、同步和删除。
复制默认是:复制(⼤⼩/⽇期),我认为这⾥是软件翻译的事,应该是复制⽽不是差异。
怎么大批量数据核对差异
第三步,点击执⾏
我是从服务器上在两个不同的NAS存储之间进⾏拷贝,选择了⼀个186G的⽂件夹进⾏测试,⾥⾯共包含约8W个⼦⽂件夹,测试结果如下:
186G的⽂件,NAS存储之间拷贝⽤时1.5个⼩时,平均速度35.21MB。
按⼀天24h计算预计可以拷贝2.9T数据。
然后我在本地测试了⼀个0.48G的⽂件夹,拷贝⽤时30秒,平均速度16MB。
速度差异主要是由于⽂件类型不同,⽹络环境不同。
————————————————————————————————————
2021.11.17更新
⼤批量数据拷贝时建议勾选验证模式,验证模式会对拷贝到新磁盘中的⽂件进⾏拷贝前后对⽐,也就是说验证只对软件拷贝过程负责,并对异常情况输出记录,⽐如我实际操作中,有因磁盘限制⽂件名长度导致某个⽂件失败的,有⽹络异常中断的。凡是输出的记录,都应逐⼀对⽐2个磁盘对应⽂件,个别⽂件会因为拷贝异常导致拷贝后的⽂件增⼤。最近替换了⼀批国产化磁盘,性能有所影响,同时,不同的数据结构读写速率也不同,在验证模式下实际拷贝速率⼤约1T~2T每天。
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论