跳到正文
AGI Hunt· Ok-Shower7286·· 3 小时前AI 评分35

vLLM PR 泄露 Qwen4-27B 架构:四路并行残差流,PR 随后被删

AI 导读

Reddit 用户发现 vllm-xpu-kernels 仓库的 PR 透露 Qwen4-27B 架构变化,随后页面被删除,真实性尚未获官方确认。相关描述称,该模型在固定 27B 参数下缩小 FFN 维度,以四路并行残差流取代单条残差路径,用 FFN 容量换取更强表达能力。发帖人推测其可能改善多步推理与编码,并称更期待 27B 版本而非 flash MoE 版本。

来源:AGI Hunt · agihunt.info