Qwen代码门控A/B测试显示准确率提升
热点事件持续更新
Qwen代码门控A/B测试显示准确率提升
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
Shoddy_Total9784团队公布非正式A/B测试:在CPU上通过llama.cpp运行三个Qwen2.5模型时,经命令DSL门控校验的方案将表格问答准确率由54.0%提高至92.4%,396道题中答对366道;全新holdout集准确率为83.3%,对照方案为49.1%,静默错误由51个降至0个。 门控方案还使Token消耗减少68%,估算等效API成本降低74%,但成本估算依赖假设电价。测试仅覆盖表格问答且未经同行评审;早期按请求措辞判断的v7门控在换词题上优势消失,因此v8改为校验模型生成的命令。
AI 根据报道生成 · 1 小时前更新
最新进展11月16日 17:25
llama.cpp 本地小模型测试:命令门控将表格问答准确率从 54.0% 提升至 92.4%报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- AGI Huntllama.cpp 本地小模型测试:命令门控将表格问答准确率从 54.0% 提升至 92.4%
一项非正式 A/B 测试显示,在 CPU 上运行 Qwen2.5 本地模型时,命令门控方案将表格问答准确率从 54.0% 提升至 92.4%。396 道题中两种方案答对 366 道,全新 holdout 集准确率为 49.1% 对 83.3%,静默错误从 51 个降至 0 个,Token 消耗和等效 API 成本分别减少 68% 和 74%。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。