跳到正文
AGI Hunt· dair_ai·· 1 小时前AI 评分50

Google DeepMind 在 Gemma 4 内置投机解码草稿头,服务端加速最高 3.1 倍

DeepMind 为 Gemma 4 内置投机解码草稿头,服务端提速 3.1 倍

AI 导读

Google DeepMind 的论文提出在 Gemma 4 内置多 token 预测草稿器,通过共享草稿头、零拷贝 KV-cache 交叉注意力和聚类词表投影降低生成延迟。

来源:AGI Hunt · agihunt.info