AGI Hunt· techNmak·· 3 小时前AI 评分63
tiny-llm 开源课:在 Mac 上构建 vLLM 式推理引擎
tiny-llm 开源课:在 Mac 上手搓 vLLM 式推理引擎,修完性能坑才算毕业
AI 导读
tiny-llm 开源课程面向系统工程师,围绕 Qwen3 在 Mac 上从零构建迷你版 vLLM 风格推理引擎。四周内容依次覆盖 attention、RoPE、GQA 等基础实现,以及 KV cache、W4 权重打包、SIMD、Continuous Batching、Paged KV Cache 等推理优化,并加入带验证的 Agent loop、checkpoint 恢复等工程实践。
来源:AGI Hunt · agihunt.info