跳到正文
热点事件持续更新

Bonsai 2在苹果芯片实测解码提速

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开发者 leo-k7v 在自研 Swift+Metal 推理引擎中加入 PrismML Ternary-Bonsai-2,实测显示其 2B 版在 A14 上比 Qwen3.5-2B IQ4NL 的预填充快约 22%、解码快约 32%,在 M3 上解码快约 55%,但这些结果仅适用于该自研引擎与对应量化、芯片组合。 A13 因无矩阵单元转走 GEMV 路径,预填充反而慢约 6 倍且一次运行即进入“serious”热状态,解码仍可用;A14 上的 4B 版峰值占用为 567MB,但不含内存映射权重,处理 512 token 提示需约 9 秒才能输出首 token。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. AGI Hunt
    自研 Swift+Metal 推理引擎实测 Ternary-Bonsai-2:A14 解码比 Qwen3.5-2B 快 32%

    开发者将 PrismML Ternary-Bonsai-2 加入 Swift+Metal 推理引擎,在 A13、A14、M3 上与 Qwen3.5-2B IQ4NL 实测对比。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。