AGI Hunt· omendUUde·· 45 分钟前AI 评分62
自研 HybridApexW 优化器在 GPT-2 基准中较 torch.compile 快约一倍
自研 HybridApexW 优化器:比 torch.compile 基线快一倍
AI 导读
HybridApexW 通过融合投影更新与 8-bit 状态追踪,在 103M 参数 GPT-2 的 1000 步基准中较 torch.compile 的 AdamW+Muon 基线快约一倍。
来源:AGI Hunt · agihunt.info