跳到正文
AGI Hunt· udmrzn·· 2 小时前AI 评分72

TensorTonic 开源 LLM Optimization Handbook,包含 48 个主题与实践练习

开源LLM推理优化手册:48个主题配可动手实现的练习题

AI 导读

TensorTonic 开源 LLM Optimization Handbook,覆盖 48 个主题和 7 个阶段,讲解量化、KV cache、推测解码、CUDA/Triton kernel 及生产环境 serving。每个主题配有简短说明和 Python、CUDA 或 Triton 动手练习,仓库还整理了 49 道 LLM 与推理工程师面试题及解析,项目采用 MIT 协议。

来源:AGI Hunt · agihunt.info