前Meta研究员质疑代码模型评测泛化可信度
热点事件持续更新
前Meta研究员质疑代码模型评测泛化可信度
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
前 Meta 研究员 alexpolozov 称，部分模型评测把训练时已使用的内部代码集当作留出验证集，并直接报告困惑度，因此所得泛化结果不可信。 他还认为，公开且可验证、能分出高下的模型比较几乎无法实现，因为参赛者若认真排查数据污染并公开算法细节，可能暴露自身优势。该观点属于其对现有评测方法的质疑，并非已获独立证实的结论。
AI 根据报道生成 · 1 小时前更新
最新进展11月15日 04:16
前 Meta 研究员：模型评测将内部代码集当作 held-out 验证集，泛化结果不可信报道时间线
沿着报道，了解事件的不同侧面。
11月15日
- AGI Hunt前 Meta 研究员：模型评测将内部代码集当作 held-out 验证集，泛化结果不可信
前 Meta 研究员 alexpolozov 质疑模型评测，将内部代码库当作 held-out 验证集并直接报告 perplexity，所得泛化结果不可信。他认为，要进行公开可验证且能胜出的比较几乎不可能，因为认真去污染并公开算法细节会泄露 alpha。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。