AGI Hunt· mancubus77·· 4 小时前AI 评分29
lm-eval 多选题评测踩坑:强指令模型不按格式回答,regex 抓错字母
lm-eval 多选题评测踩坑:强指令模型不按格式答,regex 抓错字母
AI 导读
使用 lm-eval 进行领域多选题基准测试时,明确要求“只回答字母”仍可能无法约束重度指令微调模型,模型会返回完整解释。随后 `([A-F])` regex 可能从无关单词中抓取第一个字母,评测结果因此偏向字母位置而非模型领域知识,发帖人向社区寻求成熟解决方案。
来源:AGI Hunt · agihunt.info