跳到正文
Hacker News·· 2 小时前AI 评分72

samir-vllm:从零构建 C++/CUDA LLM 推理引擎

6 Hours of YouTube and 85 handtyped pages of notes on LLM Inference – Start here

AI 导读

samir-vllm 以 C++17 和 CUDA 构建 Llama 3.2 1B 推理引擎,并配套 6+ 小时视频和 85 页手写笔记。当前实现涵盖 BF16 权重加载、完整 prefill、KV cache、静态与连续批处理及分页解码注意力,源码采用 MIT License,学习笔记另行授权。

来源:Hacker News · github.com