跳到正文
AGI Hunt· teortaxesTex·· 9 小时前AI 评分43

实测发现:脉动阵列芯片上的投机解码延迟呈阶梯式跳变

实测发现:脉动阵列芯片上投机解码延迟呈阶梯式跳变

AI 导读

实测发现,脉动阵列芯片上的投机解码验证延迟会随 draft 预算呈阶梯式跳变,每级台阶宽度等于脉动阵列宽度。配套图表显示,M5 Max 运行 Qwen3.8-27B-M 时,GPU 验证时间在 speculative budget 为 16、32、48 处从约 29ms 升至 50ms 以上,32 处相对自回归的减速比由约 12% 跳至 66%。

来源:AGI Hunt · agihunt.info