Gandalf 论文提出按注意力类型分级卸载 KV cache，SSD 寿命平均延长 7.3 倍

Gandalf论文针对本地LLM推理中KV cache卸载SSD造成的闪存磨损，提出结合访问模式与注意力类型的分级写入方案。系统优先将全注意力生成的KV cache写入SSD，评测显示SSD寿命平均延长7.3倍，命中率几乎不受影响，设计也可扩展至HBF等闪存介质。