AGI Hunt· JohnCLangford·· 3 小时前AI 评分40
字节 Seed 发布 Recycler 架构:隐藏状态回收实现近乎零成本潜推理
字节 Seed 发布 Recycler:隐藏状态回收实现近乎零成本潜推理
AI 导读
字节 Seed 发布 Recycler 架构,通过轻量 adapter 将上一步隐藏状态与 embedding 一并输入下一步,支撑近乎零成本潜推理。约 2% 主干参数的 MTP 头即可达到约 25% 规模独立模型的损失水平,训练与推理管线覆盖预训练、SFT、继续预训练和 RL,解码开销可忽略。
来源:AGI Hunt · agihunt.info