AGI Hunt· solyarisoftware·· 3 小时前AI 评分61
vLLM 支持 Engram 条件记忆按需加载 51B 参数查找表
vLLM 支持 Engram 条件记忆,51B 参数查找表无需常驻显存
AI 导读
vLLM 已支持对 Qwen3.8-Flash-Next 的 51B 参数 Engram 条件记忆查找表按需加载,不再要求整表常驻 GPU 显存或锁页内存。推理时仅将上下文命中的行复制到小型 GPU 缓冲,checkpoint 包含 Engram 层时会自动启用,无需额外启动参数。
来源:AGI Hunt · agihunt.info