Hugging Face 研究者质疑困惑度评测：代码模型应看 pass@k 而非 PPL

Hugging Face 研究者 eliebakouch 认为，仅用代码训练的模型困惑度低于更大的通用模型并不意外，单纯比较 perplexity 意义有限。评估代码模型应关注各类编程基准上的 pass@k，即在真实代码任务中多次尝试的通过率。