跳到正文
AGI Hunt· Historical_Syrup_461·· 2 小时前AI 评分63

layerpool 开源,支持将 Transformers 模型按层切分到多台设备微调

layerpool 开源:模型按层拆到多台设备,HF Trainer 零改动

AI 导读

layerpool 开源工具可将 Transformers 模型按层切分到多台设备上进行微调,主机运行训练循环并保留 embeddings 和输出头,其余设备负责中间层。

来源:AGI Hunt · agihunt.info