ReaDy用循环状态加速推测解码

ReaDy提出将混合线性注意力模型的循环状态用于推测解码的草稿生成；论文称，在Qwen3.8-27B、单张NVIDIA B200及7个数学、代码和对话基准上，相比自回归解码平均提速3.16倍，GSM8K最高4.08倍。 该方法让每个草稿位置通过学习到的查询读取目标模型已提交的循环状态，再以轻量状态读取器将补充信息注入草稿表示。论文称，ReaDy在全部测试基准上超过DSpark，吞吐平均提高7.97%、接受长度平均提高8.50%；相关代码和模型权重已开源。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。