AGI Hunt· sh_reya·· 2 小时前AI 评分57
开源推理引擎 Quail 支持 GDN 混合架构模型
AI 导读
CMU Full Stack Data Lab 开源的推理引擎 Quail 新增对 GDN 混合架构模型的支持,包括以 Gated DeltaNet 替代大部分注意力层的 Qwen3.5。Quail 基于 Apache DataFusion 构建,可在 SQL 中运行 AI 函数,并通过缓存循环状态将推理速度较 vLLM 提升超过 3 倍,最高达 3.2 倍。
来源:AGI Hunt · agihunt.info