跳到正文
热点事件持续更新

变长循环模型仅循环中间层

1 篇报道1 个报道来源42 分钟前更新

先了解这件事

AI 综述

AGI Hunt拆解称,变长循环模型只重复执行带注意力残差的中间模块,首尾层各运行一次,由此获得1.51至1.91倍的算力等效增益。 训练从384个专家激活8个的稀疏度48起步,中训阶段剪除约三分之二专家,发布模型规模约为训练时的三分之一;团队随后增加1万亿token蒸馏,以恢复剪枝后的性能。

AI 根据报道生成 · 13 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    循环模型设计拆解:仅循环中间层,等效算力增益 1.51–1.91 倍

    变长循环模型仅重复执行带 attention residual 的中间 block,首尾层保持单次执行,算力等效增益达到 1.51–1.91 倍。训练从稀疏度 48(384 个专家选 8 个)起步,midtraining 剪掉约三分之二专家,发布版规模约为训练时的 1/3。剪枝后再补 1T token 蒸馏以恢复性能。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。