开发者开源Molten原生推理引擎

开发者 zhangshuibai 用 DeepSeek V4.1 Flash 担任编码 agent，约一周、花费约21美元 API 费用完成并开源 Molten。该引擎专为 LiquidAI LFM2.5-24B-A2B 在 Apple M5 Max 上优化，开发者称推理速度达到305 tok/s。 Molten 采用纯 Rust 与 Metal 实现，二进制约6MB，不依赖 Python、PyTorch 或 MLX，并提供聊天 CLI 及支持流式输出、工具调用的 OpenAI 兼容服务器。但它仅面向“一种模型、一款芯片、batch size 1”，运行设备须为配备24GB以上内存的 M5 系列 Mac。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。