本地量化模型修Bug实测结果

Reddit 用户在自建推理引擎上测试本地量化模型修复9个未公开的C++/CUDA回归Bug，与Claude进行对比；结果显示，Flash-Next仅将专家层量化为3-bit后评分下降0.02，27B模型3-bit评分微升0.05，但这些差异处于约±0.2的置信区间内，不能证明量化模型更优。 测试中，智能体无网络、无编译环境，只能依靠推理修复代码，每个任务运行3次；Flash-Next专家层3-bit方案还被称为“近乎免费”。27B模型3-bit后虽多生成40%的tokens，单个Bug耗时也从13分钟增至18分钟。由于任务仅9个，评测者认为差距小于0.1的模型基本可视为抛硬币。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。