跳到正文
AGI Hunt· JohnCLangford·· 3 小时前AI 评分40

字节 Seed 发布 Recycler 架构:隐藏状态回收实现近乎零成本潜推理

字节 Seed 发布 Recycler:隐藏状态回收实现近乎零成本潜推理

AI 导读

字节 Seed 发布 Recycler 架构,通过轻量 adapter 将上一步隐藏状态与 embedding 一并输入下一步,支撑近乎零成本潜推理。约 2% 主干参数的 MTP 头即可达到约 25% 规模独立模型的损失水平,训练与推理管线覆盖预训练、SFT、继续预训练和 RL,解码开销可忽略。

来源:AGI Hunt · agihunt.info