Tim Lee称后训练是LLM能力跃升主力

Tim Lee 在讨论中概括，预训练本质是模仿学习，后训练大部分属于强化学习。他认为，许多人仍认为模型能力主要来自预训练，这一认知已经过时。

Tim Lee 认为，大语言模型的主要能力来自后训练而非预训练，并指出预训练本质上是模仿学习，大部分后训练才是强化学习。他将“LLM 大部分能力来自预训练”称为“僵尸观点”，批评这种认知停留在 2023 或 2024 年。相关讨论认为，后训练才是模型能力跃升的主要动力。

一条关于 LLM 能力来源的讨论串中，Timothy B. Lee 称「大部分能力来自预训练」是「僵尸观点」，认为持此看法的人是 2023 或 2024 年了解 LLM 后未再跟进进展的人。他指出近年 LLM 的能力跃升主要来自后训练（强化学习），社区认知需要随之更新。