AGI Hunt· JohnCLangford·· 54 分钟前AI 评分43
Full Bandwidth Transformer 研究:RL 压力下潜在链才被启用
AI 导读
waxhn 团队发布 Full Bandwidth Transformer(FBT)研究,探讨模型在 RL 压力下如何使用 latent chain。FBT 仍偏好显式 CoT,但在长度惩罚下会更多调用 latents;部分问题中,latents 的使用有助于实现外推,文章还分享了在 FBT 上进行 on-policy RL 的技巧。
来源:AGI Hunt · agihunt.info