2T token 多模态 LLM 继续预训练：文本+音频+视频统一训练配方公开

smolix 公开一套约 2T token 多模态 LLM 继续预训练配方，在文本、音频与视频混合数据上训练文本 LLM。后训练以 RL（GRPO）分别训练对话、时机把握、任务委派和任务完成等专家模型，再通过 on-policy 蒸馏合并为学生模型，并在带噪声的模拟对话环境中运行 self-improvement loop。