pass@k 可被合成数据刷分，编码基准可信度引发争议

Hugging Face 研究员与初创高管围绕代码模型评测可信度展开争论，指出应关注 pass@k 等编程基准。讨论认为，纯代码训练模型较低的 PPL 并不意外，pass@k 成绩可能借助合成数据提升，post-training benchmark 也普遍存在过度优化问题。Kimi-K3 在多代码库评测中的表现成为这场讨论的背景。