AGI Hunt· adam_karvonen·· 1 小时前AI 评分48
OpenAI 博客数据显示:medium 推理档下隐藏 CoT 对蒸馏影响不大
OpenAI 博客数据显示:中等推理档位下隐藏 CoT 对蒸馏影响不大
AI 导读
研究者 Adam Karvonen 分析 OpenAI 反蒸馏博客数据后指出,只有在高推理预算和高 reasoning effort 下,基于完整推理轨迹蒸馏的模型才明显优于使用推理摘要蒸馏的模型。medium 档是 Codex 和 Claude Code 的默认设置,两条曲线几乎重合,显示隐藏 CoT 的实际防蒸馏收益很小。
来源:AGI Hunt · agihunt.info