Reddit 用户称量化或致模型反复自我怀疑

Reddit 用户实测 Gemma 3.8 27B Q4KM 量化版时，发现模型频繁重复要求“再检查一下已完成推理内容”；改用 Swift 量化后，重复现象明显减少，说明该行为可能与量化方式有关，但社区尚未确定成因。 进一步讨论称，使用极低量化的 Swift QFN（IQ2-XXS）会加剧犹豫。相关实测仅涉及 Gemma 类 27B 模型，BF16 GGUF 是否也会出现这一问题仍未有明确结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。