AGI Hunt· joey00072fp8·· 1 小时前AI 评分42
小米 MiMo 下一代转向 HySparse2,因果编码器-解码器 prefill 计算省 5 倍
小米 MiMo 下一代转向因果编码器-解码器,预 fill 计算省 5 倍
AI 导读
小米 MiMo 下一代模型将转向 HySparse2 因果编码器-解码器架构,prompt 仅经过 49 层中的 25 层因果编码器。在 1M 上下文下,相比 MiMo-V2,prefill 计算量减少 5 倍,KV 缓存缩小 4.5 倍;图示采用 80B-A3B 研究配置。
来源:AGI Hunt · agihunt.info