AGI Hunt· yb2698·· 53 分钟前AI 评分43
异步 GRPO 训练细节:LFM2.5-24B-A2B、LFM3-1.7B 与 TwIL-8B 未跑完整数据混合
异步 GRPO 训练细节:部分模型未跑完整个数据混合
AI 导读
yb2698 披露固定步数与异步 GRPO 训练导致部分模型未覆盖完整数据混合。LFM2.5-24B-A2B 见到 435–1,212 个任务,LFM3-1.7B 见到 474–1,288 个,TwIL-8B 仅见到 116–159 个;长 rollout 占用 token 预算、任务固定顺序执行,使部分训练始终未触及 traj2envs。
来源:AGI Hunt · agihunt.info