跳到正文
AGI Hunt· voooooogel·· 1 小时前AI 评分32

voooooogel:预训练与 RL 谁更重要的争论是“鸡生蛋式伪争论”

先预训练还是先RL?voooooogel斥其为鸡生蛋式伪争论

AI 导读

voooooogel 认为,预训练与 RL 哪个更重要是“鸡生蛋式伪争论”:Llama 405B base 版不足以证明预训练已足够,而预训练+RL 组合已有充分有效性证据。与其争论两者孰轻孰重,不如直接讨论预训练收益是否已经见顶。

来源:AGI Hunt · agihunt.info