jondurbin披露独立模型预训练进展

独立开发者 jondurbin 公布预训练项目进展：约 10T tokens 高质量数据准备接近完成，但尚需分词和合理上采样；项目已选定 OpenAI o200k 分词器，并将数字统一作为单 token，以期改善数学能力。 训练硬件已确定支持 Apple M5 和 NVIDIA DGX Spark，另等待 AMD Ryzen AI MAX+ PRO 495 到货后补充支持。代码及 agentic 流水线仍在收尾，但开发者称不会阻塞预训练主线；目前尚未公布模型训练完成结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。