==============================
== 广东朝雾技术团队 ==
==============================
广东朝雾科技有限公司

压缩工具调研实验

本次调研主要对比压缩率和压缩速度,找到一款在两者折中的工具
实验环境:
  1. ubuntu 14.04 8核 16G
  2. 压缩文件 3.6G sql file
压缩工具 压缩大小 压缩率 压缩时间 命令 cpu使用率
bz2 462M 12.8% 8m54.585s tar -cvjf 单核100%
gz 669M 18.5% 1m59.621s tar -cvzf 单核100%
tgz 651M 18% 1m37.702s tar -I “pigz -9 -p 8” -cvf 8核100%
xz 445M 12.3% 50m43.764s tar -Jcvf 单核100%
lz4 794M 22% 2m16.223s tar -I ‘lz4 -9’ -cvf 单核占用很低50%
lz4默认压缩比 1100M 30% 22.117s tar -I ‘lz4’ -cvf 多核心占用很低,相当单核100%
bz2(多核版) 128G数据 8.1G xx 87m tar -c dir |pbzip2 -c -p6 > cc.tar.bz2 6核
gz(多核版) 128G数据 xx tar -c dir |pigz -9 -p 6 > cc.tar.bz2 6核

压缩率越低,压缩文件越小

注意: 以上环境为Ubuntu, centos 无法使用tar -I “pigz -p 8"参数 ,目前只能 tar -I “pigz”
压缩工具centos 命令
pigz (gz多核版) pigz -9 -p 16 -k 文件路径
pbzip2 (bz2多核版) pbzip2 -p8 -k 文件路径
bz2(多核版) 备份2018-12-11目录 128G tar -c 2018-12-11 |pbzip2 -c -p6 > cc.tar.bz2
gz(多核版) 备份2018-12-11目录 128G tar -c 2018-12-11 |pigz -9 -p 6 > cc.tar.gz
总结:
  1. bz2 压缩比最高,压缩时间最长,适合长时间存储文件场景
  2. lz4 压缩速度快,解压速度极快, 适合实时传输大数据的场景 使用tar+lz4/pigz+ssh更快的数据传输-博客-云栖社区-阿里云