跳到正文
AGI Hunt· vankownlaw·· 3 小时前AI 评分37

15 岁开发者手写滑动窗口注意力,T4 上提速 4.16 倍并节省 21% 显存

15 岁开发者手写滑动窗口注意力,T4 上提速 4.2 倍省 21% 显存

AI 导读

15 岁开发者从零实现自定义 Sliding Window Attention,通过在计算 Q×K 前截断旧 token,缓解长上下文显存瓶颈。Tesla T4、15,000 token、FP16 条件下,该实现约 208ms、占用 0.89GB 显存,相比 PyTorch 标准实现提速 4.16 倍、节省 21% 显存;代码暂未公开。

来源:AGI Hunt · agihunt.info