跳到正文
AGI Hunt· IFM·· 37 分钟前精选AI 评分78

IFM 发布 K2-Horizon:6 个全开源模型,含 375B MoE 与 10T 合成数据管线

AI 导读

IFM 发布 K2-Horizon 模型舰队,包含 6 个完全开源语言模型,参数规模从 0.9B dense 到 375B-A23B MoE,面向推理与智能体任务。36B-A4B 模型结合 MoVA 注意力机制,Uno 扩散适配器最高可实现 2.2 倍解码加速。项目约使用 10T 合成预训练 token,并按 LLM360 定义公开开发史、预训练数据、训练日志及训练、评测和基础设施代码。

推荐理由

文章梳理了 K2-Horizon 的模型规模、MoVA 与 Uno 等技术特点,并强调其完整的开源数据、训练和评测资料,为研究规模与稀疏性提供了可对照的公开材料。

来源:AGI Hunt · agihunt.info