Fizgig 更新 LoRA 训练提速与显存优化

开源 LoRA 微调工作室 Fizgig 发布训练提速更新：在 RTX 5090 上，使用 94 张图片、batch 1、Muon 优化器和 70 epochs 训练 MOSS-Image LoRA，耗时由约 49 分钟降至约 20 分钟。 据称，主要变化是 Muon 改为一次处理全部 LoRA 矩阵，相关计算快 12 倍且结果一致；升级至 PyTorch 2.15 并启用 gradient checkpointing 后，Krea 2 显存占用从 22.9 GB 降至 14.9 GB，MOSS-Image 在 batch 3 下从 21.7 GB 降至 7.1 GB，工作流同时支持 batch 训练。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。