跳到正文
AGI Hunt· omendUUde·· 45 分钟前AI 评分62

自研 HybridApexW 优化器在 GPT-2 基准中较 torch.compile 快约一倍

自研 HybridApexW 优化器:比 torch.compile 基线快一倍

AI 导读

HybridApexW 通过融合投影更新与 8-bit 状态追踪,在 103M 参数 GPT-2 的 1000 步基准中较 torch.compile 的 AdamW+Muon 基线快约一倍。

来源:AGI Hunt · agihunt.info