跳到正文
AGI Hunt· xiaohu·· 17 小时前AI 评分41

百度 ECHO 多 token 预测:复用最后一层打草稿,一次核对多个 token

百度 ECHO 多 token 预测:复用最后一层打草稿,一次核对出多字

AI 导读

百度设计 ECHO 多 token 预测方法,训练时让模型复用最后一层练习预测后续多个 token,生成时先由该层“打草稿”,再由完整模型一次核对。连续猜对即可一轮输出多个 token,从而加快出字速度,这也是文心 5.5 Flash Preview 的推理提速技术之一。

来源:AGI Hunt · agihunt.info