作者呼吁大模型基准设置公开与私有双测试集

一位作者提出，大语言模型基准测试可借鉴 Kaggle 的防泄漏做法，设置公开测试集和私有测试集，并通过 API 运行任务，以降低训练数据污染风险。方案要求私有集只报告汇总统计，公开集报告统计信息并最多公开 5 条轨迹；其目标是提高基准评测的可信度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。