Kimi K3技术报告领读：架构创新、注意力机制与多教师蒸馏

本期学习播客邀请清华大学计算机系博士候选人孙宇涛领读Kimi K3技术报告，系统梳理模型架构、预训练、后训练与基础设施。Kimi K3是总参数扩展至2.8T并全量开源的MoE模型，讲解涵盖线性注意力、Gated MLA、Attention Residuals、Stable LatentMoE和SiTU-GLU。节目还串联十多篇相关论文，介绍三维扩展、多教师在线策略蒸馏及训练和推理优化。