AGI Hunt· allen_ai·· 3 小时前AI 评分44
Ai2 发布 StateBench:Gated DeltaNet 长序列外推达训练长度 10 倍
Ai2 发布 StateBench:Gated DeltaNet 长序列外推达训练 10 倍
AI 导读
Ai2 发布 StateBench 基准,用于评测语言模型在长文档中的状态追踪能力及问题依赖链复杂度。在最难层级,采用灵活记忆更新机制的 Gated DeltaNet 可处理约 10 倍于训练长度的序列,团队还为带非负特征值的定点精度提供了新证明。
来源:AGI Hunt · agihunt.info