AGI Hunt· kmeanskaran·· 5 小时前AI 评分47
AI 工程师 GPU 底层教程:从 token 流转、显存计算到量化与多卡切分
AI工程师GPU底层教程:从token流转、显存计算到量化与多卡切分
AI 导读
这份 AI 工程师 GPU 底层教程从推理工程师视角,讲解 token 如何流经硬件,以及计算与内存瓶颈、FLOPS 的实际含义。内容涵盖训练与推理的硬件需求差异、CUDA Kernel、显存估算、模型量化,以及多 GPU 与大模型切分方案。
来源:AGI Hunt · agihunt.info