研究分析100个LLM通用评测中的任务冗余

研究对100个LLM在13个聚合任务、523个子任务上的评测数据进行分析，发现大量benchmark得分高度冗余，掩掉部分任务分数后模型排名仍与ALS矩阵补全结果保持高秩相关性。选择题分数可以恢复模型在自由生成任务上的排名，而自由生成评测对通用排名的信息量并不更高。研究据此提出，通用LLM评测可以使用比现行实践更少的任务完成。