AGI Hunt· SonglinYang4·· 4 小时前AI 评分38
LinQuant:面向 Mamba-2 等线性循环层的低精度预填充量化框架
LinQuant:给 Mamba-2 等线性循环层做低精度预填充的量化框架
AI 导读
研究者提出 LinQuant,为 Mamba-2、GDN、KDA 等线性循环层提供低精度 recurrent prefill 量化方案。该框架通过改写线性递归的计算方式降低量化误差,同时保持与全精度等价的函数输出,弥补此类结构在量化预填充研究上的空缺。
来源:AGI Hunt · agihunt.info