LiveFoley实现低延迟实时视频转音频
热点事件持续更新
LiveFoley实现低延迟实时视频转音频
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
AGI Hunt介绍LiveFoley论文：研究采用流式因果自回归扩散架构，将实时视频转换为同步音频；论文称，在0.08秒前瞻延迟下，DeSync得分为0.61，优于分块方法的0.88（分数越低越好），并处于用户研究所确定的感知延迟阈值内。 视觉端通过Trailing Sliding Window对齐，音频端扩大时间去噪窗口以提升生成质量。相关性能与感知结论均为论文及介绍方所述。
AI 根据报道生成 · 2 小时前更新
最新进展11月5日 21:17
LiveFoley 论文：实时视频转音频生成，延迟低至用户无感知阈值内报道时间线
沿着报道，了解事件的不同侧面。
11月5日
- AGI HuntLiveFoley 论文：实时视频转音频生成，延迟低至用户无感知阈值内
LiveFoley 论文提出流式因果自回归扩散架构，实现视频到音频实时生成，并按用户研究评估不同场景的感知延迟阈值。视觉端采用 Trailing Sliding Window 对齐，音频端扩大时间去噪窗口，在 0.08s look-ahead 延迟下取得 0.61 的 DeSync 得分，优于 chunked 的 0.88（越低越好）。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。