samir-sarwar开源C++/CUDA推理引擎教程
热点事件持续更新
samir-sarwar开源C++/CUDA推理引擎教程
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
samir-sarwar 开源了一套使用 C++17 和 CUDA 从零构建 Llama 3.2 1B 推理引擎的教程及配套笔记，当前实现包括 BF16 权重加载、prefill、KV cache、静态与连续批处理及分页解码注意力。项目配有逾 6 小时视频和 85 页手写笔记，运行需要支持 CUDA 的 NVIDIA GPU、CUDA Toolkit，模型维度和上下文长度固定为 2,048 token。 引擎源码以 MIT License 开源；笔记、扫描件、插图、照片及 PDF 不属于 MIT 授权范围，仅允许个人阅读和学习。
AI 根据报道生成 · 11 分钟前更新
最新进展11月9日 19:36
samir-vllm：从零构建 C++/CUDA LLM 推理引擎报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- Hacker Newssamir-vllm：从零构建 C++/CUDA LLM 推理引擎
samir-vllm 以 C++17 和 CUDA 构建 Llama 3.2 1B 推理引擎，并配套 6+ 小时视频和 85 页手写笔记。当前实现涵盖 BF16 权重加载、完整 prefill、KV cache、静态与连续批处理及分页解码注意力，源码采用 MIT License，学习笔记另行授权。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。