跳到正文
AGI Hunt· nrehiew_·· 54 分钟前AI 评分37

循环模型设计拆解:仅循环中间层,等效算力增益 1.51–1.91 倍

循环模型设计拆解:只循环中间层,等效算力增益近两倍

AI 导读

变长循环模型仅重复执行带 attention residual 的中间 block,首尾层保持单次执行,算力等效增益达到 1.51–1.91 倍。训练从稀疏度 48(384 个专家选 8 个)起步,midtraining 剪掉约三分之二专家,发布版规模约为训练时的 1/3。剪枝后再补 1T token 蒸馏以恢复性能。

来源:AGI Hunt · agihunt.info