你的 LLM 评测可能在说谎：四种失效方式与廉价纠错习惯

irombie 总结 LLM 评测的四类失效方式，并提出从自有失败案例建立评测的低成本做法。研究涉及的 60 个基准中近一半已饱和，LLM judge 则存在位置偏好、偏爱冗长和自偏好等偏差，Agent 评测应综合工具正确性、任务完成度、步骤效率与计划遵循度。