跳到正文
AGI Hunt· KlingTeam·· 9 小时前AI 评分37

Kling 提出 ALLOT:免训练按输出分配块稀疏注意力加速视频扩散 Transformer

Kling 提出 ALLOT:免训练按输出分配块稀疏注意力省算力

AI 导读

KlingAI 与 UCAS、CASIA、北大团队提出免训练的 ALLOT,将每个 layer-step 的延迟预算作为分配单元,依据 Output Tests 分配块稀疏密度。方法面向视频扩散 Transformer,在给定延迟预算下最大化输出保真度,减少全 3D 注意力计算开销。

来源:AGI Hunt · agihunt.info