拷贝数据
远程拷贝数据的时候，我们一般使用rsync命令，但是如果拷贝大量的小文件，会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输，可以解决这问题，使用这个方法，等同于使用scp、rsync传输大文件。
实测，使用rsync传输1200G，单个文件大小为几十KB~2GB,千兆网卡，需要同时跑6个rsync才能把带宽跑满，每个速度20MB左右，速度波动大。每分钟可以拷贝4.5GB左右。
但是，使用tar pv lz4，跑一个就可以了，而且速度波动小。每分钟可以拷贝6.8GB左右。
rsync使用例子
rsync安装：yum install -y rsync
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
[root@vm5 ~]
sending incremental file list
mssh.tar.gz
1,977 100% 0.00kB/s 0:00:00 (xfr
sent 2,069 bytes received 35 bytes 4,208.00 bytes/sec
total size is 1,977 speedup is 0.94
[root@vm5 ~]
[root@vm5 ~]
receiving incremental file list
mssh.tar.gz
1,977 100% 1.89MB/s 0:00:00 (xfr
sent 43 bytes received 2,069 bytes 4,224.00 bytes/sec
total size is 1,977 speedup is 0.94
|
参数auvzP解释：参数a是归档传输，保留文件属性，u是更新传输，源文件修改时间较新，则传输。v是显示详细过程，z是压缩传输，P是断点传输。
注意：rsync 传输文件夹时候，folder/ 带/则是传输目录下的文件，不带/是把文件夹也传输过去。
使用压缩传输
安装pv、lz4工具
注意：服务器两端都要安装。
pv在yum源里面没有，可以到pv官网找
|
1
2
3
4
5
6
7
8
9
10
|
[root@vm5 ~]
获取http://www.ivarch.com/programs/rpms/pv-1.6.6-1.x86_64.rpm
警告：/var/tmp/rpm-tmp.mFbA6u: 头V3 DSA/SHA1 Signature, 密钥 ID 3fc56f51: NOKEY
准备中...
正在升级/安装...
1:pv-1.6.6-1
[root@vm5 ~]
|
使用
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
[root@vm5 ~]
using blocks of size 64 KB
18.1MiB 0:00:00 [49.5MiB/s] [ <=> ]
real 0m0.376s
user 0m0.080s
sys 0m0.108s
[root@vm5 ~]
......
sent 11,741,677 bytes received 10,451 bytes 7,834,752.00 bytes/sec
total size is 18,502,481 speedup is 1.57
real 0m1.130s
user 0m0.797s
sys 0m0.160s
[root@vm5 ~]
|
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持八艾云。
评论