跳到正文
热点事件持续更新

HybridApexW 优化器发布并开源

1 篇报道1 个报道来源38 分钟前更新

先了解这件事

AI 综述

Reddit 用户 omendUUde 发布并开源了 PyTorch 即插即用优化器 HybridApexW,融合投影更新与 8-bit 状态追踪。作者称,在 103M 参数 GPT-2、WikiText-103 的 1000 步测试中,Compact 版耗时 533.50 秒、loss 为 4.49,8-bit 版耗时 537.67 秒、loss 为 4.47,均快于 torch.compile 下 AdamW+Muon 基线的 1076.55 秒,后者 loss 为 5.52。 上述结果来自作者公布的基准。作者同时承认首版脚本因在活模型上预热而虚增基线耗时和显存,修正后重新测试;其显存优势也较有限,8-bit 版较基线仅节省约 320MB。

AI 根据报道生成 · 13 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. AGI Hunt
    自研 HybridApexW 优化器在 GPT-2 基准中较 torch.compile 快约一倍

    HybridApexW 通过融合投影更新与 8-bit 状态追踪,在 103M 参数 GPT-2 的 1000 步基准中较 torch.compile 的 AdamW+Muon 基线快约一倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。