ThatOneSnare公开40问一次前向的路由基准

开源项目 Herald/Ultimate Assistant 开发者 ThatOneSnare 在 Reddit 分享了一组 Agent 路由与工具门控基准：其托管 API 把 40 个正交是非题合并为一次前向传播完成，延迟 159–319ms、每轮成本 0.00003–0.00006 美元且零输出 token；对比方案 qwen3.5:9b 的“LLM＋词法规则”为 93% 准确率、477ms 中位延迟。 本地单卡（Ollama）路径因按 16 路分批评估时 40 问约需 416ms，路由器改为“5 专家问＋1 承诺门控”的精简方案，单门控耗时 27ms。准确率方面存在表述出入：报道标题称该本地方案测试准确率 100%（56/56），而所引证据写的是“未见测试集准确率 100%（56/56）”，且题量列为 40 问。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。