AGI Hunt· chris_j_paxton·· 1 小时前AI 评分35
AI 研究员 Chris Paxton:92% 与 99% 的模型难区分,瓶颈在 evals
研究员感叹:92% 与 99% 的模型难区分,瓶颈在 evals
AI 导读
AI 研究员 Chris Paxton 引用演讲观点称,92% 的模型与 99% 的模型很难区分,当前将研究转化为产品的瓶颈在评测(evals)。配图幻灯片明确提出“如何把研究转化为产品?瓶颈是评测”,并呼应 agent 领域的共识:模型能力差距需要依靠好的评测体系来度量。
来源:AGI Hunt · agihunt.info