跳到正文
AGI Hunt· stanfordnlp·· 1 小时前精选AI 评分83

斯坦福 CS336 公开从零构建 LLM 的全套课程与代码

斯坦福 CS336 全套课程公开:从零手写 LLM 含内核与分布式训练

AI 导读

斯坦福 NLP 官方转发 CS336 课程信息,该课由 Percy Liang 与 Tatsunori Hashimoto 主讲,公开讲义和 .py 课件。课程覆盖 tokenization、PyTorch 与 FLOPs/显存资源核算、架构与超参、注意力变体与 MoE、GPU/TPU、Triton 内核、并行训练、scaling laws 和推理等专题。

推荐理由

课程覆盖从 tokenization、架构到内核与分布式训练的系统路线,并公开讲义和代码,便于对照学习大模型底层工程。

来源:AGI Hunt · agihunt.info