代码模型评测应关注pass@k而非困惑度

Hugging Face 研究员与初创高管围绕代码模型评测可信度展开争论，指出应关注 pass@k 等编程基准。讨论认为，纯代码训练模型较低的 PPL 并不意外，pass@k 成绩可能借助合成数据提升，post-training benchmark 也普遍存在过度优化问题。Kimi-K3 在多代码库评测中的表现成为这场讨论的背景。

Hugging Face 研究者 eliebakouch 认为，仅用代码训练的模型困惑度低于更大的通用模型并不意外，单纯比较 perplexity 意义有限。评估代码模型应关注各类编程基准上的 pass@k，即在真实代码任务中多次尝试的通过率。