15岁开发者手写滑动窗口注意力并提升性能

一名15岁开发者从零实现自定义滑动窗口注意力，在Tesla T4、15,000 token、FP16条件下，耗时约208毫秒、占用0.89GB显存；相比PyTorch标准实现提速4.16倍，并节省21%显存。 该方案在计算Q×K前截断旧token，以降低长上下文处理的显存压力。作者称实现目的为理解底层机制，代码暂未公开；其在视频处理中的可行性，以及扩展到10万以上token时可能遇到的瓶颈，仍待进一步验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。