ARB审计称七个LLM路由器均未胜过固定模型
热点事件持续更新
ARB审计称七个LLM路由器均未胜过固定模型
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
AutoBench Router Benchmark（ARB）审计7个商业及开源LLM路由器，结果显示，其质量与成本综合表现均未超过固定调用单一中档模型。审计预注册并纳入成本考量，覆盖252个提示词和20个评分模型。 理想逐题选模理论上可达到100%的Delta-Hit、每题成本0.0018美元，但17个测试设置无一达标；固定使用GPT-5.6 Luna的设置达到85.3%，每题成本0.0043美元，且17个设置中有5个让至少90%的流量指向同一模型。
AI 根据报道生成 · 1 小时前更新
最新进展11月4日 21:04
AutoBench Router Benchmark 实测：7 个 LLM 路由器均未跑赢固定调用中档模型报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- AGI HuntAutoBench Router Benchmark 实测：7 个 LLM 路由器均未跑赢固定调用中档模型
AutoBench Router Benchmark（ARB）审计 7 个商业与开源 LLM 路由器，结果显示其质量与成本综合表现均未胜过固定调用单一中价模型。理想逐题选模可达 100% Delta-Hit、每题 $0.0018，但 17 个设置无一达标；固定 GPT-5.6 Luna 为 85.3%、每题 $0.0043，且 5/17 设置至少 90% 流量指向同一模型。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。