AGI Hunt· lateinteraction·· 2 小时前AI 评分39
0.6B instruct 后训练模型在 MATH 上失灵:权重小缺陷导致采样极敏感
0.6B 后训练模型在 MATH 翻车:权重小缺陷致采样极敏感
AI 导读
0.6B instruct 后训练模型在 MATH 上表现不佳,原因并非模型能力不足,而是权重中的微小缺陷令其对采样参数和 prompt 极其敏感。Charles Frye 回应 Sebastian Raschka 时称,调整推理设置可绕开这一问题。
来源:AGI Hunt · agihunt.info