跳到正文
AGI Hunt· yb2698·· 53 分钟前AI 评分43

异步 GRPO 训练细节:LFM2.5-24B-A2B、LFM3-1.7B 与 TwIL-8B 未跑完整数据混合

异步 GRPO 训练细节:部分模型未跑完整个数据混合

AI 导读

yb2698 披露固定步数与异步 GRPO 训练导致部分模型未覆盖完整数据混合。LFM2.5-24B-A2B 见到 435–1,212 个任务,LFM3-1.7B 见到 474–1,288 个,TwIL-8B 仅见到 116–159 个;长 rollout 占用 token 预算、任务固定顺序执行,使部分训练始终未触及 traj2envs。

来源:AGI Hunt · agihunt.info