waterloointern 用 6 条提示词打造定制推理引擎，性能超过 SGLang 15%

waterloointern 团队用 AI 编码从零构建定制推理引擎，耗时 4 天、token 成本 500 美元，性能超过 SGLang 15%。整个过程仅使用 6 条提示词，其中 3 条为「carry on」「proceed」「push to github」。团队认为，为新开源模型定制推理引擎正成为趋势，其思路是避开 Triton、CUDA、Python 等抽象层带来的性能开销。