跳到正文
AGI Hunt· Bin Xu·· 3 小时前AI 评分36

AB-Attention:免训练块稀疏注意力加速视频扩散 Transformer 并保持保真度

AB-Attention:免训练块稀疏注意力加速视频扩散 Transformer,高稀疏度下保真

AI 导读

多机构团队提出 AB-Attention,以免训练的高稀疏度块注意力精确逼近视频扩散 Transformer 的稠密 3D 注意力,降低推理中的二次方成本。其 Intra-Block Clustering Selector(IBCS)在每个 query 块内部聚类并估计块重要性,配合加权采样与细粒度 kernel 聚合,在激进稀疏度下提升速度并保持保真度。

来源:AGI Hunt · agihunt.info