AGI Hunt· KlingTeam·· 9 小时前AI 评分37
Kling 提出 ALLOT:免训练按输出分配块稀疏注意力加速视频扩散 Transformer
Kling 提出 ALLOT:免训练按输出分配块稀疏注意力省算力
AI 导读
KlingAI 与 UCAS、CASIA、北大团队提出免训练的 ALLOT,将每个 layer-step 的延迟预算作为分配单元,依据 Output Tests 分配块稀疏密度。方法面向视频扩散 Transformer,在给定延迟预算下最大化输出保真度,减少全 3D 注意力计算开销。
来源:AGI Hunt · agihunt.info