跳到正文
AGI Hunt· ricklamers·· 43 分钟前AI 评分42

Hutter Prize 压缩赛成绩突进约 10%:小型 Transformer 过拟合数据后进行算术编码

Hutter 压缩赛成绩突进约 10%:用小型 Transformer 过拟合数据再算术编码

AI 导读

Hutter Prize 文本压缩近期取得约 10% 的突破性进展,核心路径是用小型 Transformer 过拟合待压缩数据,再通过算术编码缩短 token 码长。由于接收方不知道模型本身,模型权重也需压缩并计入码长,训练损失因此包含权重压缩成本。

来源:AGI Hunt · agihunt.info