跳到正文
热点事件持续更新

潜格架构扩展语言模型计算状态

3 篇报道2 个报道来源58 分钟前更新

先了解这件事

AI 综述

MIT与Adobe研究者Shivam Duggal等提出Latent Lattice Language Models,在Transformer各层加入跨token持续存在的横向潜状态流,以增加模型的活跃计算状态。 在使用20B FineWeb-Edu tokens训练的406M参数模型中,验证困惑度从参数量匹配的Transformer的15.41降至14.40,与参数量多50%的常规Transformer相当;叠加hyper-connections、input residuals等残差流增强后,进一步降至13.61。MIT NLP组称该工作属于新架构方向的早期研究,代码标注为即将发布。

AI 根据报道生成 · 24 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    MIT NLP 组提出 Latent Lattice:给残差流增加一条横向计算轴

    MIT NLP 小组转发介绍新架构 Latent Lattice Language Models (LLLMs),在逐层纵向残差流之外增加一条水平的潜格计算轴。LLLM 用循环潜变量扩展残差流的计算量,思路结合 RNN 与 Transformer,属于新架构方向的早期研究。

11月19日
  1. AGI Hunt
    MIT 与 Adobe 提出 Latent Lattice 架构:406M 模型 perplexity 从 15.41 降至 14.40

    MIT 与 Adobe 研究者提出 Latent Lattice Language Models(LLLM),以逐层递归的横向隐状态流扩展模型计算。在 20B FineWeb-Edu tokens 上训练后,406M 参数模型的 perplexity 从 15.41 降至 14.40,匹配参数量多 50% 的常规 Transformer;结合残差流增强后进一步降至 13.61。

11月18日
  1. Hacker News
    Lattice of Latents:以横向潜状态扩展语言模型计算能力

    研究团队提出 Lattice of Latents,以每层横向潜状态跨 token 持续计算,扩展语言模型计算容量。406M 参数模型在 20B FineWeb-Edu tokens 训练后,将验证困惑度从参数匹配 Transformer 的 15.41 降至 14.40;结合既有残差增强可进一步降至 13.61。

本事件热度走势

可比范围当前
3
可比范围峰值
1411月19日 15:00
近 24 小时变化
-49%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。