AGI Hunt· stochasticchasm·· 3 小时前AI 评分35
OpenAI 困惑度叙事遭质疑:数学突破或源于 RL 而非预训练
OpenAI 困惑度叙事遭质疑:数学突破或源自 RL 而非预训练
AI 导读
网友质疑 OpenAI 的困惑度叙事,认为模型取得突破性数学成果主要归功于 RL,而非预训练。OpenAI 博客称模型升级到 log-perplexity 约 0.76 后开始产出突破性数学成果,但脱离数据集、上下文长度等条件,困惑度数字很难说明问题。
来源:AGI Hunt · agihunt.info