跳到正文
AGI Hunt· jacek2023·· 3 小时前AI 评分44

Recursive 的 Flint MoE 模型登陆 llama.cpp:39.8B 总参、每 token 仅激活 2.5B

AI 导读

Recursive 开发的 Flint MoE 模型已通过 llama.cpp 的 PR #30928 加入 FlintForCausalLM 支持,总参数 39.8B,每 token 仅激活约 2.5B。该模型采用 Decoder-only MoE Transformer,包含 49 层,即 2 个稠密层和 47 个 MoE 层,上下文长度为 262,144 token。

来源:AGI Hunt · agihunt.info