跳到正文
热点事件持续更新

11个开源模型新注意力架构实测

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

ServingStudio 作者 bariskasikci 将11个近期开源模型与采用GQA的基准模型 Qwen3-Coder-480B-A35B 进行了推理对比。在128K token上下文下,新注意力架构的单请求显存最多可节省139倍,Decode读取字节数最多减少250倍,Prefill注意力FLOPs最多减少183倍。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    ServingStudio 实测 11 个开源模型的新注意力架构,128K 上下文显存最多节省 139 倍

    ServingStudio 对比 11 个近期开源模型与 GQA 基准 Qwen3-Coder-480B-A35B 在 128K token 上下文下的推理表现。新架构的单请求显存最多节省 139 倍,Decode 读取字节数最多减少 250 倍,Prefill 注意力 FLOPs 最多减少 183 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。