塔斯娱乐资讯网

有大神用Transformer制作了一个AI无损压缩器:tufazip,可以把1

有大神用Transformer制作了一个AI无损压缩器:tufazip,可以把1GB维基百科文本压缩到约105MB,体积减少近90%!

其原理是:语言模型越能预测下一个字符,理论上就越能把文本压缩得更小,而tufazip把Transformer的预测能力用到了无损压缩上。

它利用Transformer预测后续数据的概率分布,再通过算术编码,把预测能力转化成更紧凑的无损数据表示。

项目给出的enwik9测试结果——
原始文本:1 GB
压缩数据:100.96 MB
解压程序及相关文件:4.43 MB
计入解压器后的总大小:105.39 MB
总体体积减少约 89.46%

不过,两张NVIDIA B200 GPU,压缩耗时约7.3天,解压耗时约7.5天,这还不包括离线模型训练时间……

代码:t点cn/AXTtEnnr
研究文档:t点cn/AXTtWFnP

有兴趣的朋友快去看看吧!