AGI Hunt· victormustar·· 3 小时前AI 评分34
开发者每月怀念 Mixtral 8x7B:首个开源 MoE 模型的余温
开发者 monthly 怀念 Mixtral 8x7B:首个开源 MoE 模型的余温
AI 导读
开发者 Victor Mustar 每月都会想起 Mistral 于 2023 年 12 月发布的 Mixtral-8x7B-Instruct-v0.1。作为首个开源的 8x7B 稀疏 MoE 模型,它每个 token 激活 2 个专家、约 13B 激活参数,HF 页面累计下载超 2400 万并获 4700+ 赞。
来源:AGI Hunt · agihunt.info