AGI Hunt· jacek2023·· 3 小时前AI 评分64
llama.cpp 合并 Clover 支持,Qwen3.6-35B-A3B 每 token 仅激活约 3B
Clover 登陆 llama.cpp:35B MoE 混合块扩散生成,每 token 仅激活 3B
AI 导读
llama.cpp 合并了支持 Clover 的 PR #31306,使基于 Qwen3.6-35B-A3B 的 35B MoE 块扩散架构可在本地进行推理。该架构结合纯文本 MoE 骨干、Gated DeltaNet 与全注意力,每 token 约激活 3B 参数,保留 128K 因果前缀,prompt 与生成合计最高支持 131,072 tokens。
来源:AGI Hunt · agihunt.info