AWS压缩算法从gzip切换到zstd，节约30%存储空间
共 1201字，需浏览 3分钟
· 2022-08-26
出品 | OSC开源社区（ID：oschina2013)
亚马逊前副总裁 Adrian cockcroft 在推特上爆料，称 AWS 的压缩算法从 gzip 切换到 zstd 后，节省了海量内存，压缩后的 S3 存储减少了大约 30% ，节省的空间可达 EB 规模（1 EB = 1024 PB = 1024 * 1024 TB）。
有亚马逊员工对该发言进行了补充，称亚马逊改变的不是客户存储的数据的压缩方式，而是 S3 自身存储服务数据（主要是日志）的方式 —— S3 自身从 gzip 日志切换到 ztsd 日志，使得存储成本降低 30% 。
但亚马逊并没有发布变更压缩技术相关的公告，有细心的福尔摩斯网友发现了亚马逊 S3 在 2021 年 11 月末曾有过一次降价 31% 的操作，与降低的 30% 存储成本刚好可以对应上。
关于 Zstd
Zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法，主要应用于 zlib 级别的实时压缩场景，并且具有更好的压缩比。 Zstd 还可以以压缩速度为代价提供更强的压缩比，速度与压缩率的比重可通过增量进行配置。
推荐阅读
IntelliJ项目迁移到Java 17！2022.3 版本开始必须Java 17！ Jenkins + Docker 一键自动化部署 SpringBoot 项目 微软出手，拯救“四分五裂”的Markdown！
你好，我是程序猿DD，10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来，给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来，多思考、少抱怨、勤动手，就很容易实现弯道超车！所以，不要问我现在干什么是否来得及。如果你看好一个事情，一定是坚持了才能看到希望，而不是看到希望才去坚持。相信我，只要坚持下来，你一定比现在更好！如果你还没什么方向，可以先关注我，这里会经常分享一些前沿资讯，帮你积累弯道超车的资本。