同底座决策模型评测:训练提升速度成本,未恢复推理能力
热点事件持续更新
同底座决策模型评测:训练提升速度成本,未恢复推理能力
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
一项基于 Qwen3.5-9B 的实测对比显示,对同一底座模型做“决策模型”训练后,正确率从基线的 0.53 提升到 0.6–0.7 区间,其中 Perplexity Decider 达到 0.84、每千次调用成本 0.009 美元,被评为性价比最佳;但训练并未恢复底层模型的推理能力,主要收益在于速度和成本。 评测由一名作者在 OpenRouter 上进行,用 450 道答案确定的代码生成题、每题跑 5 遍,比较多个基于同一 Qwen3.5-9B 的模型,目的是验证 Jev 等人提出的“决策模型”是否真比底层 LLM 更会决策。评测仅覆盖代码生成这一类任务,结论限于该底座和该测试设置。
AI 根据报道生成 · 35 分钟前更新
最新进展11月14日 11:49
基于 Qwen3.5-9B 的决策模型实测:训练换来速度与成本优势,推理能力未恢复报道时间线
沿着报道,了解事件的不同侧面。
11月14日
- AGI Hunt基于 Qwen3.5-9B 的决策模型实测:训练换来速度与成本优势,推理能力未恢复
450 道代码生成题、每题 5 遍的对比实测显示,基于同一 Qwen3.5-9B 的决策训练主要换来速度与成本优势,未恢复推理能力。Perplexity Decider 正确率 0.84、每千次 $0.009,性价比最佳;Qwen3.5-9B 单 token 作答基线为 0.53,训练后升至 0.6-0.7 区间。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。