AGI Hunt· Xinying Hu·· 3 小时前AI 评分33
上海科技大学与美团发布 TPHC,突破 Hyper-Connections 流数上限
TPHC:张量并行分组更新突破 Hyper-Connections 流数上限
AI 导读
上海科技大学与美团发布 TPHC,将张量并行分片与 Hyper-Connections 残差流结合,突破流数超过 4 后各流独立更新受限的问题。该方法以适度的训练开销改善语言模型 loss 与零样本推理能力。
来源:AGI Hunt · agihunt.info