跳到正文
AGI Hunt· allen_ai·· 3 小时前AI 评分41

StateBench 实验:Hybrid 架构近满分,Transformer 随长度退化

StateBench 实验:Hybrid 架构近满分,Transformer 随长度退化

AI 导读

Ai2 的 StateBench 追加实验显示,Hybrid 架构与 Gated DeltaNet 在前几级状态追踪任务中接近满分,而 Transformer 随序列长度增加明显退化。团队直接在 StateBench 上训练 LLM 并用更长输入评测,以排除预训练因素影响;此前前沿模型长任务状态追踪准确率已跌至 13% 以下。

来源:AGI Hunt · agihunt.info