跳到正文
AGI Hunt· repligate·· 2 小时前AI 评分31

repligate 质疑 LLM 能力趋势争论:评测误差可能比趋势差异更大

repligate:LLM 能力趋势争论是伪精确,评测误差比趋势本身还大

AI 导读

repligate 发推质疑圈内对 LLM 能力趋势线进行细节推敲,认为评测结果相对于真实能力存在较大误差,甚至可能超过所争论的趋势差异。他将这种做法归为 bikeshedding 与 false precision 的结合,并指出一个月内的评测结果就可能出人意料。

来源:AGI Hunt · agihunt.info