AGI Hunt· vankownlaw·· 3 小时前AI 评分37
15 岁开发者手写滑动窗口注意力,T4 上提速 4.16 倍并节省 21% 显存
15 岁开发者手写滑动窗口注意力,T4 上提速 4.2 倍省 21% 显存
AI 导读
15 岁开发者从零实现自定义 Sliding Window Attention,通过在计算 Q×K 前截断旧 token,缓解长上下文显存瓶颈。Tesla T4、15,000 token、FP16 条件下,该实现约 208ms、占用 0.89GB 显存,相比 PyTorch 标准实现提速 4.16 倍、节省 21% 显存;代码暂未公开。
来源:AGI Hunt · agihunt.info