InferNEON 以裸机 Rust 内核探索廉价开发板上的 MoE 推理

InferNEON 使用无 OS、无 libc 的裸机 Rust 推理内核探索廉价硬件上的 MoE 部署，已在 QEMU 中逐 token 对齐运行 OLMoE-1B-7B。router trace 回放显示，在慢存储上原始专家容量明显优于缓存预测；树莓派 CM4 上的三值化 eNPU 将瓶颈从访存转向计算，速度约为 bf16 的 4.5 倍，每层往返约 0.25ms。