如何使用Facebook开发的这种快速数据压缩算法Zstd

文章预览

Zstandard（又叫Zstd）是一款免费开源的快速实时数据压缩程序，具有更高的压缩比，由Facebook开发。它是用C语言编写的无损压缩算法，因此它是一个原生的Linux程序。 需要的话，它可以牺牲压缩速度，换取更高的压缩比（压缩速度与压缩比这个组合可以逐级配置），反之亦然。它有一种用于小数据压缩的特殊模式，名为字典压缩，可以用提供的任何样本集来构建字典。它带有一个命令行实用程序，用于创建和解码.zst、.gz、.xz和.lz4等文件。 重要的是， Zstandard有一套丰富的API，支持几乎所有流行的编程语言，包括Python、Java、JavaScript、Nodejs、Perl、Ruby、C#、Go、Rust、PHP和Swift等语言。 它在Facebook积极用于压缩多种格式的大量数据，支持多种使用场景，适用于亚马逊Redshift数 ………………………………