AGI Hunt· karen_ullrich·· 3 小时前AI 评分38
大模型训练如何高效分配算力:68.7% 预算投向最大模型,最小模型执行 32 次调参
算力怎么花最值:68.7% 预算给最大模型,32 次调参给最小模型
AI 导读
团队提出跨模型规模分配训练算力的方案,将约 68.7% 算力预算用于最大模型,最小模型占 8.6%,并在最便宜的规模执行约 32 次调参 run,次小规模仅运行 1 次。论文还指出,端点处达到同等误差对预测的影响远大于中段误差,并给出完整分配建议。
来源:AGI Hunt · agihunt.info