跳到正文
热点事件持续更新

SPARE预印本将线性注意力解码提速2.55倍

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

弗吉尼亚大学研究团队在11月5日发布SPARE预印本,提出把每个注意力头的循环状态限制在更小的子空间,并直接读取、更新该状态,以降低线性注意力每步解码的运算成本,无需重训练或恢复微调。 在RTX A6000、batch size为512且采用最压缩设置时,1.3B参数Gated DeltaNet的解码速度提升2.55倍。作者同时提醒,这一步状态投影并非无损,速度收益不能直接等同于检索质量提升,二者仍需分别评测。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. AGI Hunt
    弗吉尼亚大学 SPARE 预印本:线性注意力解码提速 2.55 倍

    弗吉尼亚大学 11 月 5 日预印本提出 SPARE,将每个 head 的循环状态固定在更小的子空间中,直接读取与更新以降低线性注意力解码成本。该方法无需重训练或恢复微调,1.3B Gated DeltaNet 在 RTX A6000、batch size 512 的最压缩设置下解码提速 2.55 倍。作者提醒,投影并非无损,速度与检索质量仍需分开评测。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。