跳到正文
Hugging Face Blog·· 2 小时前AI 评分45

Hugging Face Blog:为何生成式语言模型微调耗时超出 FLOP 估算

Why your fine-tuning job takes longer than the FLOPs say

AI 导读

Hugging Face Blog 展示了用 CatBoost 预测生成式语言模型端到端微调时间的方法,基于 272 次生产运行、约 7,382 GPU-hours 的数据。该模型仅使用调度前可得信息,在 5-fold 交叉验证中取得 R² = 0.98、MAE 1.71 h,而 FLOP 基线最佳仅 R² = 0.31、MAE 12.41 h。

来源:Hugging Face Blog · huggingface.co