INSAIT 精确相对位置注意力算法提速 1.8–6.4×，实现 FlashAttention 式分块计算

INSAIT 团队提出精确相对位置注意力算法，将加性相对位置项整合进 FlashAttention 式分块计算，并通过统一 Triton 实现优化索引、乘积复用和梯度分片。8K token 序列下前向加速 1.8–6.4×、反向加速 2.0–21×，峰值内存较最强基线最多降低 2.9–128×；长上下文转录端到端快 1.8×、节省 2.4× 内存，可作为 drop-in 替代。