跳到正文
热点事件持续更新

MiniMind开源超小语言模型训练管线

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

MiniMind项目开源了一套纯PyTorch实现的语言模型训练管线,可在单张消费级GPU上从零训练约6400万参数模型。项目称,训练约需2小时、成本约3元,管线覆盖数据清洗、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、工具调用、Agentic RL和模型蒸馏。 该项目还衍生出MiniMind-V、MiniMind-O、MiniMind-dLM及线性注意力版本,相关时间和成本数据属于项目方给出的训练条件。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    开源 MiniMind 用纯 PyTorch 在 2 小时、约 3 元成本训练 64M 参数 LLM

    MiniMind 开源了基于纯 PyTorch 从零训练约 64M 参数语言模型的完整管线,约需 2 小时和人民币 3 元成本,可在单张消费级 GPU 上复现。管线覆盖数据清洗、预训练、SFT、LoRA、DPO、PPO/GRPO/CISPO、Tool Use、Agentic RL 与模型蒸馏,项目已扩展出 MiniMind-V、MiniMind-O、MiniMind-dLM 和线性注意力版本。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。