Tim Lee：大语言模型能力主要靠后训练而非预训练

Tim Lee 认为，大语言模型的主要能力来自后训练而非预训练，并指出预训练本质上是模仿学习，大部分后训练才是强化学习。他将“LLM 大部分能力来自预训练”称为“僵尸观点”，批评这种认知停留在 2023 或 2024 年。相关讨论认为，后训练才是模型能力跃升的主要动力。