跳到正文
AGI Hunt· chris_j_paxton·· 1 小时前AI 评分35

AI 研究员 Chris Paxton:92% 与 99% 的模型难区分,瓶颈在 evals

研究员感叹:92% 与 99% 的模型难区分,瓶颈在 evals

AI 导读

AI 研究员 Chris Paxton 引用演讲观点称,92% 的模型与 99% 的模型很难区分,当前将研究转化为产品的瓶颈在评测(evals)。配图幻灯片明确提出“如何把研究转化为产品?瓶颈是评测”,并呼应 agent 领域的共识:模型能力差距需要依靠好的评测体系来度量。

来源:AGI Hunt · agihunt.info