Bonsai 2 9B 在 Mac 上加速 468%，解码速度接近 1000 tok/s

TheDavidTai 团队通过自定义 dflash2 runner 调优，让 Bonsai 2 9B 在 mlx.fast 榜单上以投机解码达到 956.6 tok/s 解码、6818 tok/s 预填充，较参考实现快 468%，登上 Mac 平台榜首。研究还提出可构建按主题特化、缩减词表的投机草稿模型，以进一步提升推理速度。