HybridApexW 优化器发布并开源
热点事件持续更新
HybridApexW 优化器发布并开源
1 篇报道1 个报道来源38 分钟前更新
先了解这件事
AI 综述
Reddit 用户 omendUUde 发布并开源了 PyTorch 即插即用优化器 HybridApexW,融合投影更新与 8-bit 状态追踪。作者称,在 103M 参数 GPT-2、WikiText-103 的 1000 步测试中,Compact 版耗时 533.50 秒、loss 为 4.49,8-bit 版耗时 537.67 秒、loss 为 4.47,均快于 torch.compile 下 AdamW+Muon 基线的 1076.55 秒,后者 loss 为 5.52。 上述结果来自作者公布的基准。作者同时承认首版脚本因在活模型上预热而虚增基线耗时和显存,修正后重新测试;其显存优势也较有限,8-bit 版较基线仅节省约 320MB。
AI 根据报道生成 · 13 分钟前更新
最新进展11月19日 22:10
自研 HybridApexW 优化器在 GPT-2 基准中较 torch.compile 快约一倍报道时间线
沿着报道,了解事件的不同侧面。
11月19日
- AGI Hunt自研 HybridApexW 优化器在 GPT-2 基准中较 torch.compile 快约一倍
HybridApexW 通过融合投影更新与 8-bit 状态追踪,在 103M 参数 GPT-2 的 1000 步基准中较 torch.compile 的 AdamW+Muon 基线快约一倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。