跳到正文
AGI Hunt· stochasticchasm·· 3 小时前AI 评分40

BeNice! 方法实现循环 LLM 跨循环近乎无损共享 KV 缓存

BeNice!方法实现循环 LLM 跨循环无损共享 KV 缓存

AI 导读

BeNice! 方法让循环 LLM 在不同循环间近乎无损地共享最终层 KV cache,在相同 KV 显存下获得更多有效深度。该方法并非开箱即用,需要专门训练模型“学会分享”;评论者认为,仅循环 decoder 的 YOCO 可能是更简单的替代方案。

来源:AGI Hunt · agihunt.info