变长循环模型仅循环中间层
热点事件持续更新
变长循环模型仅循环中间层
1 篇报道1 个报道来源42 分钟前更新
先了解这件事
AI 综述
AGI Hunt拆解称,变长循环模型只重复执行带注意力残差的中间模块,首尾层各运行一次,由此获得1.51至1.91倍的算力等效增益。 训练从384个专家激活8个的稀疏度48起步,中训阶段剪除约三分之二专家,发布模型规模约为训练时的三分之一;团队随后增加1万亿token蒸馏,以恢复剪枝后的性能。
AI 根据报道生成 · 13 分钟前更新
最新进展11月21日 04:36
循环模型设计拆解:仅循环中间层,等效算力增益 1.51–1.91 倍报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI Hunt循环模型设计拆解:仅循环中间层,等效算力增益 1.51–1.91 倍
变长循环模型仅重复执行带 attention residual 的中间 block,首尾层保持单次执行,算力等效增益达到 1.51–1.91 倍。训练从稀疏度 48(384 个专家选 8 个)起步,midtraining 剪掉约三分之二专家,发布版规模约为训练时的 1/3。剪枝后再补 1T token 蒸馏以恢复性能。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。