TokenSpeed 推理引擎架构解析：C++ 保正确性、Rust 提性能、Python 粘合各层

LightSeek 团队开源的 LLM 推理引擎 TokenSpeed 采用多层语言架构，调度器使用 C++，其他层通过 Rust 提升性能并由 Python 粘合。该项目使用 MIT 协议，在 GitHub 已获 2.8k stars；作者解释称，调度器选用 C++ 的重点是正确性，需围绕 KV cache 状态转移，在 PD、L 等环节保证可靠性。