上G⽂件双机互传⾸选⼯具BBCP
⽅式⼀：scp
什么是scp: scp 命令是 SSH中最⽅便有⽤的命令了，scp就是secure copy，是⽤来进⾏远程⽂件拷贝的。数据传输使⽤ ssh，并且和ssh 使⽤相同的认证⽅式，提供相同的安全保证。 与rcp 不同的是，scp 在需要进⾏验证时会要求你输⼊密码或⼝令。ssh工具安卓下载
速度：刚开始的时候33M/s 持续3分钟左右就跌落到3M左右的传输速度
⽅式⼆：rsync
什么是rsync: rsync是rcp的替代品之⼀，rsync 是⼀款⾼效的远程数据备份和镜象⼯具，
速度：⽆响应
⽅式三：wget
什么是wget: wget 是⼀个经由 GPL 许可的可从⽹络上⾃动获取⽂件的⾃由软件包。它是⼀个⾮交互式的命令⾏⼯具。⽀持
HTTP，HTTPS 和 FTP 协议，⽀持代理服务器以及断点续传功能。 wget 可实现递归下载，即可跟踪 HTML 页⾯上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的⽬录结构，实现远程⽹站的镜像。在递归下载时，wget 将页⾯中的超级链接转换成指向本地⽂件，⽅便离线浏览。由于⾮交互特性，wget ⽀持后台运⾏，⽤户在退出系统后，仍可继续运⾏。功能强⼤，设置⽅便简单。
速度：刚开始的时候50M/s 持续3分钟左右就跌落到3M左右的传输速度
⽅式四；axel
与wget⽅式类似，只是wget是单线程，axel可以是多线程，速度可以⽐wget翻⼏倍
1、获得Axel
32位系统：
64位系统：
2、使⽤参数参考
选项相应功能
-
n指定线程数
-s限制最⼤速度（带宽）
-q静默模式
-o⽂件另存为（到别的⽬录）
--help显⽰帮助信息
--version显⽰版本信息
3、使⽤案例
限制最⼤为100kb带宽下载《》
⽅式五；bbcp
什么是bbcp: bbcp 是由SLAC(斯坦福直线加速器中⼼)的Andy Hanushevsky创⽴的点对点⽹络⽂件拷贝⼯具。经过简单测试，发现速度⽐ scp 快了10倍左右，因此推荐⼤家采⽤bbcp来取代scp等⽼家伙 :)
速度：针对20G的⽂件进⾏了测试，测试下来平均下来速度在21M左右，耗时16分钟
安bcp【两端都要安装】
chmod +x /usr/bin/bbcp
-k 保留所有未传输完成的⽂件，并允许在重试时进⾏覆盖
-a 保留checkpoint信息⽤于校验⽂件的完整性
-r 递归传输指定路径下的所有⽂件
-P 2 每两秒显⽰传输的进程
-V 打印调试信息
-f 强制清除远程主机上传输失败的数据
-w 设置Disk (I/O) buffers
算法为(window = netspeed/8*RTT = 1000Mb/8*74ms = 1000/1000/8*74 = 9.25 M)
-s 16 设置并发数为16
-
T "ssh -x -a -p 2222 -oFallBackToRsh=no -i /home/dong.guo/.ssh/id_rsa -l heydevops heylinux /usr/bin/bbcp"
指定远端主机的认证⽅式：
采⽤-p 2222指定端⼝；
设置-oFallBackToRsh=no减少ssh响应时间；
设置-i /home/dong.guo/.ssh/id_rsa指定SSH Key；
设置-l heydevops指定登陆⽤户；
heylinux为远程主机地址；
/usr/bin/bbcp为远程主机的bbcp路径；

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。