AGI Hunt· VraserX·· 2 小时前AI 评分34
AI 模型评测 biases:同一个 prompt 跑 30 次只为黑对手
博主吐槽模型评测 biases:同一个 prompt 跑 30 次只为黑对手
AI 导读
博主 VraserX 吐槽 AI 模型评测中常见的不公平做法:有人对喜欢的模型重复运行同一个 prompt 30 次,直到获得满意结果,再截取对手模型最差的一次输出作为失败证据。他呼吁停止这种带有明显偏差的模型对比方式。
来源:AGI Hunt · agihunt.info