smolix公开多模态继续预训练配方
热点事件持续更新
smolix公开多模态继续预训练配方
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
smolix公开了一套多模态大语言模型训练配方：在约2T token的文本、音频与视频混合数据上，对文本大语言模型进行继续预训练。 后训练阶段以GRPO分别训练对话、时机把握、任务委派和任务完成等专家模型，再通过on-policy蒸馏合并为学生模型，并在带噪声的模拟对话环境中运行自我改进闭环。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 01:55
2T token 多模态 LLM 继续预训练：文本+音频+视频统一训练配方公开报道时间线
沿着报道，了解事件的不同侧面。
11月6日
- AGI Hunt2T token 多模态 LLM 继续预训练：文本+音频+视频统一训练配方公开
smolix 公开一套约 2T token 多模态 LLM 继续预训练配方，在文本、音频与视频混合数据上训练文本 LLM。后训练以 RL（GRPO）分别训练对话、时机把握、任务委派和任务完成等专家模型，再通过 on-policy 蒸馏合并为学生模型，并在带噪声的模拟对话环境中运行 self-improvement loop。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。