跳到正文
AGI Hunt· AIFlow_ML·· 4 小时前AI 评分41

Liquid AI 模型 128K KV 缓存仅 1.6GB,靠卷积省掉大半注意力

AI 导读

AIFlow 解释 Liquid AI 新模型内存占用较低的原因:24 层中 13 层采用短卷积,另有 6 层使用完整注意力。官方数据显示,模型在 128K 上下文下的 KV 缓存仅为 1.6 GB,明显低于 Qwen3.5-4B 的 4.3 GB。

来源:AGI Hunt · agihunt.info