跳到正文
AGI Hunt· andimarafioti·· 2 小时前AI 评分42

ConvFill 用 0.6B 小模型即时应答,以大模型生成回复降低延迟

ConvFill:0.6B 小模型当嘴替,大模型在耳边递答案补延迟

AI 导读

ConvFill 用 0.6B 的轻量 talker 模型先快速应答,再由大 reasoner 模型生成合适回复并交由 talker 续说,以缓解语音 Agent“速度与智能难以兼得”的矛盾。作者体验后认为思路成立,但 talker 模型仍需增强,才能达到“魔法般”的效果。

来源:AGI Hunt · agihunt.info