layerpool开源支持跨设备分层微调
热点事件持续更新
layerpool开源支持跨设备分层微调
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开源项目 layerpool 可将 Transformers 模型按层分配到多台设备上进行微调:主机负责训练循环,并保留 embeddings 和输出头,其余设备承载中间层,每台设备仅下载自己负责的层。 项目称,替换一行 import 即可接入,现有 Trainer、TRL、LoRA 和 QLoRA 仍可使用,支持 NVIDIA、AMD、Apple Silicon、CPU 及 Colab、Kaggle。其定位是微调原本无法装入单张设备的模型,但作者提醒,网络可能成为瓶颈,速度也不会优于单卡装下全模型的情况。
AI 根据报道生成 · 58 分钟前更新
最新进展11月23日 03:11
layerpool 开源,支持将 Transformers 模型按层切分到多台设备微调报道时间线
沿着报道,了解事件的不同侧面。
11月23日
- AGI Huntlayerpool 开源,支持将 Transformers 模型按层切分到多台设备微调
layerpool 开源工具可将 Transformers 模型按层切分到多台设备上进行微调,主机运行训练循环并保留 embeddings 和输出头,其余设备负责中间层。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。