Long介绍Pluralis去中心化训练
热点事件持续更新
Long介绍Pluralis去中心化训练
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Alexander Long在访谈准备笔记中介绍，Pluralis Research将GPT模型按阶段拆分并分布到不同节点训练，使完整权重不在单一实体落地，模型所有权则由协议按训练贡献分配。 据其介绍，该方案采用模型并行及基于Nesterov的更新方法：在200 Mb/s网络下训练GPT-1.3B的速度约减半，但强化学习权重同步效率提升约100倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月25日 00:50
Pluralis 去中心化训练：权重永不完整落地，无人可独占模型报道时间线
沿着报道，了解事件的不同侧面。
10月25日
- AGI HuntPluralis 去中心化训练：权重永不完整落地，无人可独占模型
Pluralis Research 采用模型并行，将 GPT 切成流水线阶段分布至各节点，使完整权重永不在单处实体化。其基于 Nesterov 的更新方法在 200 Mb/s 网络下以约 2 倍减速训练 GPT-1.3B，并带来约 100 倍的 RL 权重同步效率提升。贡献者模型所有权由协议按训练贡献强制分配。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。