跳到正文
AGI Hunt· arthurcolle·· 2 小时前AI 评分32

arthurcolle 晒 1B 模型从零训练实录:15.9 天完成 53.1%

三周从零训一个 1B 模型:作者晒 15.9 天训练实录

AI 导读

arthurcolle 晒出从零训练 1B 模型的项目 sys1-999m-v100k-run1,15.9 天时已完成 15940/30000 步(53.1%)。训练已处理 2611.58M tokens,速度约 3773.4 tokens/秒,进程持续 7 天 21 小时,预计还需约 7 天完成,小模型预训练在个人可承受的时间与算力预算内可行。

来源:AGI Hunt · agihunt.info