AGI Hunt· teortaxesTex·· 3 小时前AI 评分41
SFT 刷分翻车:DeepSeek 微调模型人类评分涨 172 分,基准仅涨 4 分
SFT刷分翻车:DeepSeek微调模型人类评分涨172分
AI 导读
一项模型微调研究显示,DeepSeek 训练的模型在人类评分上提升 172 点,但基准测试仅提升 4 点。MiniMax 训练的模型人类评分涨 68 点,基准反而下降 18 点;V4.1 Flash 使用 SFT 刷满 benchmark 后仍在人类评估中失败。研究认为,单纯追求 benchmark 刷分并不可靠,人类反馈带来的收益更显著。
来源:AGI Hunt · agihunt.info