跳到正文
热点事件持续更新

layerpool开源支持跨设备分层微调

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

开源项目 layerpool 可将 Transformers 模型按层分配到多台设备上进行微调:主机负责训练循环,并保留 embeddings 和输出头,其余设备承载中间层,每台设备仅下载自己负责的层。 项目称,替换一行 import 即可接入,现有 Trainer、TRL、LoRA 和 QLoRA 仍可使用,支持 NVIDIA、AMD、Apple Silicon、CPU 及 Colab、Kaggle。其定位是微调原本无法装入单张设备的模型,但作者提醒,网络可能成为瓶颈,速度也不会优于单卡装下全模型的情况。

AI 根据报道生成 · 58 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月23日
  1. AGI Hunt
    layerpool 开源,支持将 Transformers 模型按层切分到多台设备微调

    layerpool 开源工具可将 Transformers 模型按层切分到多台设备上进行微调,主机运行训练循环并保留 embeddings 和输出头,其余设备负责中间层。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。