跳到正文
AGI Hunt· VraserX·· 2 小时前AI 评分34

AI 模型评测 biases:同一个 prompt 跑 30 次只为黑对手

博主吐槽模型评测 biases:同一个 prompt 跑 30 次只为黑对手

AI 导读

博主 VraserX 吐槽 AI 模型评测中常见的不公平做法:有人对喜欢的模型重复运行同一个 prompt 30 次,直到获得满意结果,再截取对手模型最差的一次输出作为失败证据。他呼吁停止这种带有明显偏差的模型对比方式。

来源:AGI Hunt · agihunt.info