AGI Hunt· Yusheng Dai·· 3 小时前AI 评分40
LiveFoley 论文:实时视频转音频生成,延迟低至用户无感知阈值内
LiveFoley 论文:实时视频转音频生成,延迟低至用户无感知阈值内
AI 导读
LiveFoley 论文提出流式因果自回归扩散架构,实现视频到音频实时生成,并按用户研究评估不同场景的感知延迟阈值。视觉端采用 Trailing Sliding Window 对齐,音频端扩大时间去噪窗口,在 0.08s look-ahead 延迟下取得 0.61 的 DeSync 得分,优于 chunked 的 0.88(越低越好)。
来源:AGI Hunt · agihunt.info