Basalt默认有损加速选项拉低量化模型表现

jesdga95 实测自研推理引擎 Basalt 的 Routing bias 和 Tail skip 选项，发现两项默认开启后，以 llama.cpp Q80 为参照，各量化模型的 KLD 普遍降至 IQ3XXS 至 Q20 水平；在显存充裕的测试环境中，知识表现约损失 1.5 分、约4%，速度收益有限，显存越紧张损害越明显。 测试使用 Qwen 3.8 Flash Next，并搭配 RTX 5090、5060 Ti 和 128GB DDR5；上述结果是该作者在特定硬件与模型上的实测结论，两项加速选项在 Basalt 中均可关闭。

AI 根据报道生成 · 59 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。