跳到正文
热点事件持续更新

Kapitsa在M5 Max横评三款推理引擎

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Kapitsa作者在128GB内存的MacBook Pro M5 Max上实测mlx-lm、llama.cpp与Kapitsa运行Nanbeige4.3-33B 4-bit模型,覆盖512至32K上下文。配备KFlash投机解码时,Kapitsa写代码速度达36.6 tok/s,高于mlx-lm的27.1和llama.cpp的24.9。 在29.5K上下文下,Kapitsa占用28GB内存,mlx-lm则需52GB;测试原始输出与脚本已公开,供复跑验证。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. AGI Hunt
    M5 Max 实测 Nanbeige4.3-33B:Kapitsa 解码最快,32K 上下文占 28GB

    Kapitsa 作者在 MacBook Pro M5 Max 128GB 上实测 mlx-lm、llama.cpp 与 Kapitsa 运行 Nanbeige4.3-33B 4-bit,覆盖 512 至 32K 上下文。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。