Notion分享Auto模型路由器Elo评测

Notion 工程师 ivanhao 分享了升级版模型路由器 Auto 的 Elo 评测方法，称 Auto 能按任务难度动态选择模型，在 20 多个常见用例样本上以接近旗舰模型的质量分完成任务，同时减少单位任务积分消耗。 相较 Sol 6.1、Opus 5.5 和 Astra，Auto 分别节省 62%、87% 和 93% 的积分。Notion 重新引入 Elo 评分，是因为真实知识工作场景复杂，仅用一个 LLM 评判另一个模型的输出，难以可靠衡量这种复杂性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。