跳到正文
AGI Hunt· ivanhzhao·· 3 小时前AI 评分65

Notion 介绍 Auto 模型路由器的 Elo 评测方法

Notion 揭秘模型路由器 Auto:复用 Elo 评测,成本比单个旗舰模型低 62%-93%

AI 导读

Notion 工程师介绍了升级版模型路由器 Auto 的评测方法,通过 Elo 评分评估真实知识工作场景中的模型表现。Auto 根据任务难度动态选择模型,在 20+ 个常见用例样本上以接近旗舰模型的质量分完成任务,相比 Sol 6.1、Opus 5.5 和 Astra 分别节省 62%、87% 和 93% 的单位任务积分。

来源:AGI Hunt · agihunt.info