AGI Hunt· armancohan·· 3 小时前AI 评分44
armancohan 团队新论文:CoT 可监控性标准指标只是上界,自蒸馏与 RL 可提升
新论文:CoT 可监控性标准指标只是上界,可用自蒸馏与 RL 提升
AI 导读
armancohan 团队发布新论文,研究如何训练 LLM 使其思维链更易监控。论文指出 CoT 可监控性指标 TPRmc 只是上界,可能高估对问题行为的因果检测能力,并推导出对应下界;三种后训练方法实验显示,自蒸馏与 RL 可改善可监控性,但指标选择会改变结论。
来源:AGI Hunt · agihunt.info