关于 lzo
LZO is a portable lossless data compression library written in ANSI C.
LZO是一个超级强大的压缩库，最大的特点就是压缩/解压速度极快。LZO 除了极快的压缩和解压速度以外，最重要的特性就是就地解压，即不使用临时文件，这对于体积较大的文件来说，例如光盘映像，是非常合适的。另外，解压无需内存，解压速度与压缩率无关，这两个也是特别棒的特性，相比较小的压缩率（现在随着大硬盘的普及，压缩率与压缩时间相比，前者显得不再那么重要了），速度上的提高带来的优势无疑太巨大了！
关于 lzop
lzop is a file compressor which is very similar to [gzip](http://www.gzip.org/). lzop uses the [LZO data
compression library](http://www.oberhumer.com/opensource/lzo/) for compression services, and its main
advantages over gzip are much higher compression and decompression speed (at the cost of some compression
ratio).
直接yum安装
> yum install -y lzop
或者编译安装
先要安装LZO库
> cd /usr/local
> wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz
> tar -xzf lzo-2.10.tar.gz
> cd /usr/local/lzo-2.10
> ./configure --enable-shared
> make && make install
从输出的信息看，lzo库被安装在了 /usr/local/lib
将库文件复制至/usr/lib，如果是64位系统则是 /usr/lib64
> cp /usr/local/lib/*lzo* /usr/lib64/
否则会在后续执行lzop命令时出现类似如下的提示 lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
> ls /usr/lib64/*lzo*
/usr/lib64/liblzo2.a /usr/lib64/liblzo2.la /usr/lib64/liblzo2.so /usr/lib64/liblzo2.so.2 /usr/lib64/liblzo2.so.2.0.0
编译安装 lzop工具
> cd /usr/local
> wget http://www.lzop.org/download/lzop-1.04.tar.gz
> tar -xzf lzop-1.04.tar.gz
> cd lzop-1.04
> ./configure
> make && make install
> lzop -V
Lempel-Ziv-Oberhumer Packer
Copyright (C) 1996 - 2017
lzop v1.04 Markus Franz Xaver Johannes Oberhumer Aug 10th 2017
lzop version: v1.04, Aug 10th 2017
lzop build date: Feb 23 2023 11:18:26
使用
> lzop --help
Lempel-Ziv-Oberhumer Packer
Copyright (C) 1996 - 2010
lzop v1.03 Markus Franz Xaver Johannes Oberhumer Nov 1st 2010
Usage: lzop [-dxlthIVL19] [-qvcfFnNPkUp] [-o file] [-S suffix] [file..]
Commands:
-1 compress faster -9 compress better
-d decompress -x extract (same as -dPp)
-l list compressed file -I display system information
-t test compressed file -V display version number
-h give this help -L display software license
Options:
-q be quiet -v be verbose
-c write on standard output -oFILE write output to 'FILE'
-p write output to current dir -pDIR write to path 'DIR'
-f force overwrite of output files
-n do not restore the original file name (default)
-N restore the original file name
-P restore or save the original path and file name
-S.suf use suffix .suf on compressed files
-U delete input files after successful operation (like gzip and bzip2)
file.. files to (de)compress. If none given, try standard input.
lzop -v test # 创建test.lzo压缩文件，输出详细信息，保留test文件不变
lzop -Uv test # 创建test.lzo压缩文件，输出详细信息，删除test文件
lzop -t test.lzo # 测试test.lzo压缩文件的完整性
lzop –info test.lzo # 列出test.lzo中各个文件的文件头
lzop -l test.lzo # 列出test.lzo中各个文件的压缩信息
lzop –ls test.lzo # 列出test.lzo文件的内容，同ls -l功能
cat test | lzop > t.lzo # 压缩标准输入并定向到标准输出
lzop -dv test.lzo # 解压test.lzo得到test文件，输出详细信息，保留test.lzo不变
lzop -d test.lzo # 解压，每个文件将与压缩文件放在同一个目录中
lzop -x test.lzo # 将压缩文件解压缩到当前工作目录。这和 -dPp 一样。
压缩级别：从 1 到 9，1表示压缩的最快，9表示压缩的最多，默认是3，数值越大压缩比例越大同时越慢。解压缩速度不受压缩级别的影响。
压缩与解压
生成一个文件 pg135.txt，大小3.16M
> time gzip -3 pg135.txt
real 0m0.097s
user 0m0.078s
sys 0m0.031s
> time lzop pg135.txt
real 0m0.030s
user 0m0.016s
sys 0m0.016s
> time gzip -d pg135.txt.gz
real 0m0.036s
user 0m0.031s
sys 0m0.000s
> time lzop -d pg135.txt.lzo
real 0m0.026s
user 0m0.000s
sys 0m0.031s
| 压缩格式 | 文件 | 大小 | 压缩时间 | 解压时间 |
|---|---|---|---|---|
| None | pg135.txt | 3.16M | ||
| GZIP | pg135.txt.gz | 1.32M | 0.097s | 0.036s |
| LZO | pg135.txt.lzo | 1.96M | 0.030s | 0.026s |
总结：gzip 的压缩率高一些，但是压缩和解压时间比较长。
gzip 参数。
| 选项 | 含义 |
|---|---|
| -c | 将压缩数据输出到标准输出中，并保留源文件。 |
| -d | 对压缩文件进行解压缩。 |
| -r | 递归压缩指定目录下以及子目录下的所有文件。 |
| -v | 对于每个压缩和解压缩的文件，显示相应的文件名和压缩比。 |
| -l | 对每一个压缩文件，显示以下字段：压缩文件的大小；未压缩文件的大小；压缩比；未压缩文件的名称。 |
| -数字 | 用于指定压缩等级，-1 压缩等级最低，压缩比最差；-9 压缩比最高。默认压缩比是 -6。 |
gzip压缩默认会删掉源文件，不过也可以通过参数保留源文件。
gzip -c big_data.log > big_data.log.gz
无论是 gzip 还是 lzop 都是压缩工具，目标是文件，因此不会作用于目录上，通常的做法是先使用 tar 命令将目录打包为 .tar 文件，然后执行压缩，最终得到 .tar.gz文件。
分块与并行处理
lzo 是基于block分块的（约256K），这样他就允许数据被分解成chunk，可以使用并行处理，流式处理。
gzip 压缩方式不能被分块，因此无法并行处理。
bzip2 压缩非常的快，也可以被分块，但是其解压过程非常非常的缓慢。
所谓分块并并行处理，就是先将大文件分块，然后由多个下游程序并行来处理，也就是 mapreduce，那么并行处理的结果需要能够按照正确的顺序合并到一起。
综合考虑
如果要求并行处理，压缩和解押压速度快，那么就选 lzo；如果单纯的追求压缩比，那么选 gzip。
其他
golang封装lzo：https://github.com/cyberdelia/lzo
lzo 压缩算法原理 https://blog.csdn.net/wo6694458/article/details/76099768
gzip 压缩算法原理 https://www.jianshu.com/p/4033028e5570
参考文章来源：https://www.toymoban.com/news/detail-435423.html
https://blog.thinkeridea.com/201906/go/compress_file_io_optimization1.html文章来源地址https://www.toymoban.com/news/detail-435423.html
到了这里，关于文件压缩与解压性能对比 lzop, gzip的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
