AGI Hunt· SonglinYang4·· 2 小时前AI 评分30
硬件感知 LDM 实现:状态回卷与窗口写入大幅降低激活内存和访存开销
硬件感知 LDM 实现:状态回卷+窗口写入,大幅降低激活内存与访存开销
AI 导读
硬件感知 LDM 实现以状态回卷和窗口写入降低深度模型的激活内存与访存开销。实现利用可逆 RLS 递归,在反向传播时依据每层保存的紧凑辅助信息重建状态,避免保存 G×Dv×Dk 的完整状态 Ml,并将 Write 与下一层 Read 融合、延迟聚合 E=4 窗口内写操作。该实现采用 CuTe DSL,支持 Hopper 和 Blackwell GPU。
来源:AGI Hunt · agihunt.info