AGI Hunt· HanchungLee·· 3 小时前AI 评分34
仿 Kaggle 防数据泄漏:作者呼吁基准测试设公开与私有双测试集
仿 Kaggle 防泄漏:作者呼吁基准设公开/私有双测试集
AI 导读
一位作者提出基准测试应借鉴 Kaggle 的防泄漏做法,设立公开集与私有集,两者均通过 API 任务运行以防数据泄漏。方案规定私有集只报告汇总统计,公开集报告统计并最多公开 5 条轨迹,核心主张是「对数据泄漏说不」。该方案面向大语言模型基准的评测可信度,通过隐藏私有测试集降低训练数据污染风险。
来源:AGI Hunt · agihunt.info