AGI Hunt· bariskasikci·· 2 小时前AI 评分59
ServingStudio 实测 11 个开源模型的新注意力架构,128K 上下文显存最多节省 139 倍
实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍
AI 导读
ServingStudio 对比 11 个近期开源模型与 GQA 基准 Qwen3-Coder-480B-A35B 在 128K token 上下文下的推理表现。新架构的单请求显存最多节省 139 倍,Decode 读取字节数最多减少 250 倍,Prefill 注意力 FLOPs 最多减少 183 倍。
来源:AGI Hunt · agihunt.info