11个开源模型新注意力架构实测
热点事件持续更新
11个开源模型新注意力架构实测
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
ServingStudio 作者 bariskasikci 将11个近期开源模型与采用GQA的基准模型 Qwen3-Coder-480B-A35B 进行了推理对比。在128K token上下文下,新注意力架构的单请求显存最多可节省139倍,Decode读取字节数最多减少250倍,Prefill注意力FLOPs最多减少183倍。
AI 根据报道生成 · 1 小时前更新
最新进展11月21日 01:12
ServingStudio 实测 11 个开源模型的新注意力架构,128K 上下文显存最多节省 139 倍报道时间线
沿着报道,了解事件的不同侧面。
11月21日
- AGI HuntServingStudio 实测 11 个开源模型的新注意力架构,128K 上下文显存最多节省 139 倍
ServingStudio 对比 11 个近期开源模型与 GQA 基准 Qwen3-Coder-480B-A35B 在 128K token 上下文下的推理表现。新架构的单请求显存最多节省 139 倍,Decode 读取字节数最多减少 250 倍,Prefill 注意力 FLOPs 最多减少 183 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。