AGI Hunt· PyTorch·· 46 分钟前AI 评分63
EUROPA 联盟借助 PyTorch 训练近 1T 参数 MoE，单 GPU 吞吐提升 14 倍
EUROPA 联盟用 PyTorch 在欧洲超算上训练 1T 参数 MoE,单卡吞吐提升 14 倍
AI 导读
EUROPA 联盟借助 PyTorch 与 TorchTitan，在 EuroHPC 的 JUPITER 共享超算上完成约 1T 参数 MoE 模型预训练扩展。
来源：AGI Hunt · agihunt.info
EUROPA 联盟借助 PyTorch 训练近 1T 参数 MoE，单 GPU 吞吐提升 14 倍