字节 Seed 发布 Recycler 潜推理架构

字节 Seed 团队发布 Recycler 架构及实验结果，以轻量适配器将上一步隐藏状态与 embedding 一并输入下一步，目标是降低潜推理成本。团队称，约占主干参数 2% 的 MTP 头可达到约 25% 规模独立模型的损失水平，相关训练与推理管线已覆盖预训练、SFT、继续预训练和 RL，解码开销可忽略。 机器学习专家 John Langford 认为，该架构除次要细节外，本质上是 Full Bandwidth Transformer；他评价其实验覆盖 RL、规模更大，并进行了跨模型尺寸对比。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。