跳到正文
AGI Hunt· tw_killian·· 2 小时前AI 评分36

Bitter Lesson 被误读:算力越大越需要好算法

被误读的 Bitter Lesson:算力越大越需要好算法

AI 导读

MillionInt 发布长文反思「Bitter Lesson」被误读,认为训练投入的算力越多,算法反而越重要。scaling transformers 的短期成功一度让研究圈陷入「reward hack」思维,真正的问题不是算法无关紧要,而是精力被投入死路,许多可扩展的探索维度仍未展开;RL 类算法可能值得继续深耕。

来源:AGI Hunt · agihunt.info