MiniMind开源超小语言模型训练管线
热点事件持续更新
MiniMind开源超小语言模型训练管线
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
MiniMind项目开源了一套纯PyTorch实现的语言模型训练管线,可在单张消费级GPU上从零训练约6400万参数模型。项目称,训练约需2小时、成本约3元,管线覆盖数据清洗、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、工具调用、Agentic RL和模型蒸馏。 该项目还衍生出MiniMind-V、MiniMind-O、MiniMind-dLM及线性注意力版本,相关时间和成本数据属于项目方给出的训练条件。
AI 根据报道生成 · 2 小时前更新
最新进展11月18日 16:47
开源 MiniMind 用纯 PyTorch 在 2 小时、约 3 元成本训练 64M 参数 LLM报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI Hunt开源 MiniMind 用纯 PyTorch 在 2 小时、约 3 元成本训练 64M 参数 LLM
MiniMind 开源了基于纯 PyTorch 从零训练约 64M 参数语言模型的完整管线,约需 2 小时和人民币 3 元成本,可在单张消费级 GPU 上复现。管线覆盖数据清洗、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、Agentic RL 与模型蒸馏,项目已扩展出 MiniMind-V、MiniMind-O、MiniMind-dLM 和线性注意力版本。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。