前 Meta 研究员：模型评测将内部代码集当作 held-out 验证集，泛化结果不可信

前 Meta 研究员 alexpolozov 质疑模型评测，将内部代码库当作 held-out 验证集并直接报告 perplexity，所得泛化结果不可信。他认为，要进行公开可验证且能胜出的比较几乎不可能，因为认真去污染并公开算法细节会泄露 alpha。