AGI Hunt· sebkrier·· 55 分钟前AI 评分49
Scott Alexander 与 Steven Pinker 论战:LLM scaling 曲线是指数还是幂律
Scott Alexander 论战 Pinker:LLM scaling 曲线到底是指数还是幂律
AI 导读
Scott Alexander 与 Steven Pinker 就 LLM scaling 曲线展开争论,分歧集中于“指数级”与“幂律”能否描述同一过程。AGI Hunt 梳理指出,LLM 的 scaling laws 在渐近意义上是收敛于噪声底的逆幂律,而非指数。对损失而言是幂律下降,对能力、benchmark 等下游指标则可能呈指数状,关键在于测量口径。
来源:AGI Hunt · agihunt.info