AGI Hunt· udmrzn·· 2 小时前AI 评分72
TensorTonic 开源 LLM Optimization Handbook,包含 48 个主题与实践练习
开源LLM推理优化手册:48个主题配可动手实现的练习题
AI 导读
TensorTonic 开源 LLM Optimization Handbook,覆盖 48 个主题和 7 个阶段,讲解量化、KV cache、推测解码、CUDA/Triton kernel 及生产环境 serving。每个主题配有简短说明和 Python、CUDA 或 Triton 动手练习,仓库还整理了 49 道 LLM 与推理工程师面试题及解析,项目采用 MIT 协议。
来源:AGI Hunt · agihunt.info