跳到正文
热点事件持续更新

llama.cpp 合入 Flint 推理支持

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

llama.cpp 通过 PR #30928 合入对 Recursive 的 Flint MoE 模型支持,新增 FlintForCausalLM 推理实现。该模型总参数量为 39.8B,每个 token 约激活 2.5B 参数,采用含 49 层的 Decoder-only MoE Transformer,其中 2 层为稠密层、47 层为 MoE 层,上下文长度为 262,144 token。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. AGI Hunt
    Recursive 的 Flint MoE 模型登陆 llama.cpp:39.8B 总参、每 token 仅激活 2.5B

    Recursive 开发的 Flint MoE 模型已通过 llama.cpp 的 PR #30928 加入 FlintForCausalLM 支持,总参数 39.8B,每 token 仅激活约 2.5B。该模型采用 Decoder-only MoE Transformer,包含 49 层,即 2 个稠密层和 47 个 MoE 层,上下文长度为 262,144 token。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。