模型微调出现人类评分与基准分歧

一项模型微调研究显示，DeepSeek 训练的模型人类评分提高172分，但基准测试仅提高4分；MiniMax 训练的模型人类评分提高68分，基准测试反而下降18分。研究团队据此认为，仅优化基准测试并不能可靠代表模型能力改善，人类反馈带来的收益更显著。 研究中，使用监督微调（SFT）在基准测试上取得高分的V4.1 Flash，也未在人类评估中通过，表明自动基准与人工评价可能对同一模型给出不同结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。