开源推理引擎 Banach 探索用 64GB 桌面运行 Kimi K2

开发者发布开源推理引擎 Banach，通过将活跃 expert 保留在RAM、其余权重从NVMe流式读取来运行超大模型。实测中，22GB模型在16GB RAM上运行时，Banach的prompt处理速度是llama.cpp的2.2倍且输出逐字节一致；作者估算64GB内存与RTX 5080运行Kimi K2可达到约3.6 tok/s，但并非实测。