跳到正文
AGI Hunt· Lianhuiq·· 3 小时前AI 评分62

Inco 开源 DFlash 2 drafter,为 MiniMax M3.1 Flash 提速最高 3.5 倍

Inco 开源 DFlash 2 drafter:MiniMax M3.1 Flash 生成无损提速 3.5 倍

AI 导读

Inco AI 发布并以 Apache 2.0 协议开源 DFlash 2 推测解码 draft 模型,用于将 MiniMax M3.1 Flash 的生成速度提升至多 3.5 倍。其采用块扩散 drafter,贪婪解码输出与目标模型完全一致,采样则保持原分布;模型卡同时提供 SGLang 配置,包括 draft tokens 8 和 fa4 attention backend。

来源:AGI Hunt · agihunt.info