EUROPA借公共超算扩展万亿参数MoE
热点事件持续更新
EUROPA借公共超算扩展万亿参数MoE
1 篇报道1 个报道来源41 分钟前更新
先了解这件事
AI 综述
EUROPA联盟（Domyn与Fraunhofer）借助PyTorch和TorchTitan，在EuroHPC的JUPITER共享超算上完成约1万亿参数混合专家模型（MoE）的预训练扩展；每个副本使用96个节点、384块GH200，单GPU吞吐量由90提升至约1300 tokens/s。 该项目属于欧盟Frontier AI Grand Challenge，最终目标是训练至少4000亿参数、支持欧盟全部24种官方语言并符合欧盟《人工智能法案》的开源MoE模型，以验证主权开源AI能否在共享公共算力上达到前沿规模。
AI 根据报道生成 · 29 分钟前更新
最新进展11月12日 20:10
EUROPA 联盟借助 PyTorch 训练近 1T 参数 MoE，单 GPU 吞吐提升 14 倍报道时间线
沿着报道，了解事件的不同侧面。
11月12日
- AGI HuntEUROPA 联盟借助 PyTorch 训练近 1T 参数 MoE，单 GPU 吞吐提升 14 倍
EUROPA 联盟借助 PyTorch 与 TorchTitan，在 EuroHPC 的 JUPITER 共享超算上完成约 1T 参数 MoE 模型预训练扩展。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。