AGI Hunt· techNmak·· 3 小时前AI 评分72
Andrej Karpathy 的 nanochat 提供从零训练 LLM 的全流程仓库
Karpathy nanochat 获 5.9 万星:从零训练 LLM 全流程仓库
AI 导读
Andrej Karpathy 的 nanochat 仓库以单个代码库覆盖从原始文本训练 LLM 的完整生命周期,已收获 59K star。内容包括 BPE tokenizer、Transformer 预训练、对话微调、强化学习探索、模型评测与 KV cache 推理,并提供串联 tokenizer 训练、预训练、SFT 和评测的 speedrun 脚本。
来源:AGI Hunt · agihunt.info