潜格架构扩展语言模型计算状态
先了解这件事
MIT与Adobe研究者Shivam Duggal等提出Latent Lattice Language Models,在Transformer各层加入跨token持续存在的横向潜状态流,以增加模型的活跃计算状态。 在使用20B FineWeb-Edu tokens训练的406M参数模型中,验证困惑度从参数量匹配的Transformer的15.41降至14.40,与参数量多50%的常规Transformer相当;叠加hyper-connections、input residuals等残差流增强后,进一步降至13.61。MIT NLP组称该工作属于新架构方向的早期研究,代码标注为即将发布。
AI 根据报道生成 · 24 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntMIT NLP 组提出 Latent Lattice:给残差流增加一条横向计算轴
MIT NLP 小组转发介绍新架构 Latent Lattice Language Models (LLLMs),在逐层纵向残差流之外增加一条水平的潜格计算轴。LLLM 用循环潜变量扩展残差流的计算量,思路结合 RNN 与 Transformer,属于新架构方向的早期研究。
- AGI HuntMIT 与 Adobe 提出 Latent Lattice 架构:406M 模型 perplexity 从 15.41 降至 14.40
MIT 与 Adobe 研究者提出 Latent Lattice Language Models(LLLM),以逐层递归的横向隐状态流扩展模型计算。在 20B FineWeb-Edu tokens 上训练后,406M 参数模型的 perplexity 从 15.41 降至 14.40,匹配参数量多 50% 的常规 Transformer;结合残差流增强后进一步降至 13.61。
- Hacker NewsLattice of Latents:以横向潜状态扩展语言模型计算能力
研究团队提出 Lattice of Latents,以每层横向潜状态跨 token 持续计算,扩展语言模型计算容量。406M 参数模型在 20B FineWeb-Edu tokens 训练后,将验证困惑度从参数匹配 Transformer 的 15.41 降至 14.40;结合既有残差增强可进一步降至 13.61。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1411月19日 15:00
- 近 24 小时变化
- -49%
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。