跳到正文
AGI Hunt· jacek2023·· 1 小时前AI 评分61

蚂蚁系 inclusionAI 开源医疗大模型 LingSante-3.1-flash:560B 参数、百万上下文

AI 导读

inclusionAI 在 Hugging Face 发布开源权重医疗模型 LingSante-3.1-flash,基于 Ling-3.1-flash 构建。该模型采用混合线性 MoE 架构,总参数 560B、每 token 激活 25B,支持 100 万 token 上下文,包含 63 层 KDA 和 9 层 Gated MLA。

来源:AGI Hunt · agihunt.info