跳到正文
AGI Hunt· victormustar·· 3 小时前AI 评分34

开发者每月怀念 Mixtral 8x7B:首个开源 MoE 模型的余温

开发者 monthly 怀念 Mixtral 8x7B:首个开源 MoE 模型的余温

AI 导读

开发者 Victor Mustar 每月都会想起 Mistral 于 2023 年 12 月发布的 Mixtral-8x7B-Instruct-v0.1。作为首个开源的 8x7B 稀疏 MoE 模型,它每个 token 激活 2 个专家、约 13B 激活参数,HF 页面累计下载超 2400 万并获 4700+ 赞。

来源:AGI Hunt · agihunt.info