跳到正文
AGI Hunt· krishnan·· 2 小时前AI 评分41

弗吉尼亚大学 SPARE 预印本:线性注意力解码提速 2.55 倍

弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍

AI 导读

弗吉尼亚大学 11 月 5 日预印本提出 SPARE,将每个 head 的循环状态固定在更小的子空间中,直接读取与更新以降低线性注意力解码成本。该方法无需重训练或恢复微调,1.3B Gated DeltaNet 在 RTX A6000、batch size 512 的最压缩设置下解码提速 2.55 倍。作者提醒,投影并非无损,速度与检索质量仍需分开评测。

来源:AGI Hunt · agihunt.info