AGI Hunt· huberlin·· 4 小时前AI 评分39
洪堡大学提出 PACE:4-bit 量化线性注意力状态,无需微调降低显存
洪堡大学 PACE:4-bit 量化线性注意力状态,免微调降显存
AI 导读
柏林洪堡大学提出后置(post-hoc)PACE 方法,将线性注意力语言模型的固定大小循环状态量化为 4-bit,并通过每隔几个 token 舍入、按列共享量化 scale 降低误差累积。该方法无需微调即可保持精度,使同一加速器能够同时服务更多并发序列。
来源:AGI Hunt · agihunt.info