AGI Hunt· himanshustwts·· 4 小时前AI 评分29
两个约 500B MoE 模型的后训练路线对比:reflection beam 单一 RL vs thinky inkling 2 small 联合 RL
两个 ~500B MoE 的后训练路线对比:单一 RL 跑 vs 联合 RL 跑
AI 导读
AGI Hunt 对比了 reflection beam 与 thinky inkling 2 small 两条约 500B MoE 后训练路线。reflection beam 先以大型能力 RL 训练,再由独立安全对齐专家通过 multi-teacher on-policy distillation 合并;thinky inkling 2 small 则将能力与对齐纳入一次联合 RL。
来源:AGI Hunt · agihunt.info