跳到正文
AGI Hunt· Gauri_the_great·· 4 小时前AI 评分63

流式语音翻译模型 READ/WRITE 门控架构拆解

流式语音翻译模型如何抢话开口:READ/WRITE 门控架构拆解

AI 导读

文章以具体架构说明流式 speech-to-speech 模型如何在说话人尚未讲完时决定继续读取音频或输出翻译。音频按 640ms 分块处理并带 160ms 前瞻,Thinker 生成 p(WRITE),Talker 将混合隐藏态转为 codec tokens,再由冻结的 flow-matching 解码器与 vocoder 合成语音。

来源:AGI Hunt · agihunt.info