跳到正文
AGI Hunt· stochasticchasm·· 3 小时前AI 评分35

OpenAI 困惑度叙事遭质疑:数学突破或源于 RL 而非预训练

OpenAI 困惑度叙事遭质疑:数学突破或源自 RL 而非预训练

AI 导读

网友质疑 OpenAI 的困惑度叙事,认为模型取得突破性数学成果主要归功于 RL,而非预训练。OpenAI 博客称模型升级到 log-perplexity 约 0.76 后开始产出突破性数学成果,但脱离数据集、上下文长度等条件,困惑度数字很难说明问题。

来源:AGI Hunt · agihunt.info