跳到正文
AGI Hunt· HamelHusain·· 1 小时前AI 评分41

Hamel Husain 调侃「评测工业复合体」:刷分则评测死,不刷则评测废

AI 导读

Hamel Husain 借 Anthropic 模型在 Harvey 法律基准上低于其他模型的讨论,调侃模型评测存在「评测工业复合体」的两难:不吸引大家在 benchmark 上刷分,评测会被认为一文不值;吸引大家刷分后,评测又可能失去统计价值。这一观点指出,benchmark 的传播价值与诊断价值存在结构性冲突。

来源:AGI Hunt · agihunt.info