Banach 开源推理引擎尝试桌面运行超大模型

开发者 gautamrbharadwaj 发布并开源推理引擎 Banach，通过把活跃专家保留在内存、将其余权重从 NVMe 流式读取，让内存较小的桌面设备运行超大模型。实测中，Banach 在 16GB 内存上处理 22GB 模型时，prompt 处理速度为 llama.cpp 的 2.2 倍，输出逐字节一致。 作者估算，配备 64GB 内存和 RTX 5080 的桌面设备运行 382GB 权重的 Kimi K2 时，速度约为 3.6 tok/s；这一结果尚未实测，不能视为已验证性能。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。