AGI Hunt· pmttyji·· 3 小时前AI 评分45
ReaDy 用线性注意力循环状态加速 Qwen3.8-27B 推测解码
ReaDy 用线性注意力循环状态做推测解码,Qwen3.8-27B 提速 3.16 倍
AI 导读
ReaDy 将混合线性注意力模型的循环状态用于 Qwen3.8-27B 推测解码,平均提速 3.16×。在数学、代码、对话等 7 个基准上,单张 NVIDIA B200 的 GSM8K 最高加速 4.08×,吞吐较 DSpark 平均提升 7.97%;代码与模型权重已开源。
来源:AGI Hunt · agihunt.info