跳到正文
AGI Hunt· burkov·· 46 分钟前AI 评分36

端侧语音识别编码器蒸馏压缩:以内部表征为目标,六组师生对验证

端侧语音识别编码器蒸馏压缩:内部表征做目标,六组师生对验证

AI 导读

研究通过蒸馏压缩端侧语音识别编码器,让小模型复现大模型的内部音频表征,而非最终 token 选择或转写文本。该方法适用于两种音频接入语言模型的接口,并在六组教师—学生配对上完成验证,涵盖与语言模型联合训练前后训练的编码器。

来源:AGI Hunt · agihunt.info