跳到正文
AGI Hunt· nrehiew_·· 54 分钟前AI 评分35

TML-d24-varloop-research 实测:循环 3 次后收益递减,推理 token 反而更省

研究实测:循环 3 次后收益递减,推理 token 反而更省

AI 导读

针对可变循环层数模型 TML-d24-varloop-research 的实验显示,增加循环次数能提升无需长思维链任务的性能,但超过 3 次后收益明显递减。占位符 token 越少,所需推理 token 反而越少,结果为循环 Transformer 的实际部署选择循环层数提供参考。

来源:AGI Hunt · agihunt.info