跳到正文
AGI Hunt· jomi-se·· 4 小时前AI 评分56

llama.cpp 滑窗注意力上下文检查点内存溢出排查复盘

llama.cpp 滑窗注意力上下文检查点堆爆内存的排查复盘

AI 导读

jomi-se 复盘了 llama.cpp 运行 Gemma 4 12B 压测时的 RAM 溢出问题,定位原因为滑窗注意力上下文检查点持续堆积。默认每个 slot 保留 32 个检查点,每个约 320MiB,而其简单对话续传场景保留 4 个即可;作者还通过动画视频展示了该机制。

来源:AGI Hunt · agihunt.info