AGI Hunt· DimitrisPapail·· 4 小时前AI 评分12
梯度下降终局论:大语言模型经数万亿 token 梯度下降后自己成了优化器
gradient descent 终局论:万亿 token 后模型自己成了优化器
AI 导读
Dimitris Papail 在 X 发帖提出一个悖论式观察:经过数万亿 token 的梯度下降,模型最终收敛为一个不再需要梯度的优化器。这句话以一句话概括了「模型学会自我改进」的前沿想象,并在 X 上引发共鸣。
来源:AGI Hunt · agihunt.info