热点事件持续更新

投机解码延迟呈阶梯式跳变

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

teortaxesTex 发布实测称，在采用脉动阵列的芯片上，投机解码验证延迟会随草稿预算增加呈阶梯式跳变，而非平滑上升；这一现象可能出现在 Tensor Cores、Neural Accelerators 等硬件上。其图表显示，M5 Max 运行 Qwen3.8-27B-M 时，GPU 验证时间在 speculative budget 为 16、32、48 时出现明显跃升，由约 29 毫秒增至 50 毫秒以上；在预算为 32 时，相对自回归解码的减速比也从约 12% 跃至 66%。

AI 根据报道生成 · 9 小时前更新

最新进展11月9日 09:15

实测发现：脉动阵列芯片上的投机解码延迟呈阶梯式跳变

报道时间线

沿着报道，了解事件的不同侧面。

11月9日

09:15
AGI Hunt
实测发现：脉动阵列芯片上的投机解码延迟呈阶梯式跳变
实测发现，脉动阵列芯片上的投机解码验证延迟会随 draft 预算呈阶梯式跳变，每级台阶宽度等于脉动阵列宽度。配套图表显示，M5 Max 运行 Qwen3.8-27B-M 时，GPU 验证时间在 speculative budget 为 16、32、48 处从约 29ms 升至 50ms 以上，32 处相对自回归的减速比由约 12% 跳至 66%。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1011月9日 10:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。