跳到正文
热点事件持续更新

融合DeepLIFT以独立计算图加速归因

4 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

开发者jmschreiber91将DeepLIFT重写为融合计算图:在特定Cherimoya模型上,把梯度覆盖和参考值归因逻辑直接纳入模型计算路径,以输入序列直接输出归因结果,不再依赖各层通用hook。作者称,同规模模型的归因速度因此提升约7倍,主要收益来自去除hook开销;该实现依托tangermeme。

AI 根据报道生成 · 42 分钟前更新

事件进展

2 个进展

  1. 10月26日 23:19 · 1 篇报道
    DeepLIFT重写为独立归因计算图
    AGI Hunt:开发者将 DeepLIFT 改写为独立计算图,实现端到端归因
  2. 10月26日 23:14 · 2 篇报道
    融合版DeepLIFT实现解析
    AGI Hunt:融合版 DeepLIFT:绕过 hook 的梯度改写如何实现约 7 倍提速

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. AGI Hunt
    开发者将 DeepLIFT 改写为独立计算图,实现端到端归因

    开发者 jmschreiber91 将 DeepLIFT 铺陈在特定 Cherimoya 模型上,以独立计算图让输入序列直接输出归因结果。该方案不再依赖通用 hooks 机制,利用 PyTorch 优化通用计算图的能力,自动融合归因计算并提升执行效率。

  2. AGI Hunt
    fused DeepLIFT 解析:绕开 hook 融合计算图提速 7 倍

    jmschreiber91 在 X 上解析 fused DeepLIFT 的实现思路与性能权衡。DeepLIFT 通过覆盖梯度运算并将参考值纳入归因计算来解释模型,融合版本把梯度改写直接融入计算图,避开各层 hook。据称,该方案比 hook 方案快约 7 倍,但作者也讨论了其成本特征与取舍。

  3. AGI Hunt
    融合版 DeepLIFT:绕过 hook 的梯度改写如何实现约 7 倍提速

    融合版 DeepLIFT 将梯度覆盖与参考值归因逻辑直接编译进模型计算路径,摆脱对各层 hook 的依赖。由此去除 hook 开销后,同规模模型的归因速度提升约 7 倍;该实现依托 tangermeme。

  4. AGI Hunt
    Cherimoya v0.3.1 合入融合版 DeepLIFT,同规模模型归因提速约 7 倍

    Cherimoya v0.3.1 合入融合版 DeepLIFT,使同规模模型的归因速度提升约 7 倍。该项目还宣布将 CATv1 模型接入 proto-tools,供模型设计使用;Cherimoya 是包含约 7.5k 个 DNase+ATAC 基因组模型的框架。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。