跳到正文
Hacker News·· 4 天前AI 评分46

Lattice of Latents:以横向潜状态扩展语言模型计算能力

Latent Lattice Language Models

AI 导读

研究团队提出 Lattice of Latents,以每层横向潜状态跨 token 持续计算,扩展语言模型计算容量。406M 参数模型在 20B FineWeb-Edu tokens 训练后,将验证困惑度从参数匹配 Transformer 的 15.41 降至 14.40;结合既有残差增强可进一步降至 13.61。

来源:Hacker News · shivamduggal4.github.io