AGI Hunt· pzakin·· 48 分钟前AI 评分30
「苦涩教训」常被误读:最终胜出的是随算力扩展最快的方法
别再误读苦涩教训:胜出的不是朴素方法,而是随算力扩展最快的方法
AI 导读
Henry Towling 指出 bitter lesson 常被误读为「朴素方法最终总能赢」,准确说法是胜出的是随算力扩展最有效的方法,关键在于哪个方法的函数值随算力 x 增长得最陡(线性、指数还是阶乘)。因此 bitter lesson 并不必然反对复杂方法:NLP 很复杂,LLM 本身也复杂得离谱,它们胜出正是因为随算力扩展得更快。
来源:AGI Hunt · agihunt.info