AGI Hunt· udmrzn·· 2 小时前AI 评分74
开源 MiniMind 用纯 PyTorch 在 2 小时、约 3 元成本训练 64M 参数 LLM
开源 MiniMind:2 小时、约 3 元成本从零训练 64M 参数 LLM
AI 导读
MiniMind 开源了基于纯 PyTorch 从零训练约 64M 参数语言模型的完整管线,约需 2 小时和人民币 3 元成本,可在单张消费级 GPU 上复现。管线覆盖数据清洗、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、Agentic RL 与模型蒸馏,项目已扩展出 MiniMind-V、MiniMind-O、MiniMind-dLM 和线性注意力版本。
来源:AGI Hunt · agihunt.info