跳到正文
AGI Hunt· Sea-Wind-2216·· 2 小时前AI 评分31

小参数循环 MoE 架构设想:Engram 知识表与 Dorry KV 缓存优化

网友构想小参数循环 MoE 架构: SSD 静态知识表+Dorry KV 缓存优化

AI 导读

一位 Reddit 用户提出小型循环 MoE 架构设想,约为 10B 总参、2B 激活参数,结合 MoE 稀疏化、Engram 静态知识表、循环推理与 Dorry 式 KV 缓存优化。该设计拟以可留在 SSD 的 20-50B 静态参数补充事实,并降低循环推理的显存开销,但目前没有实验数据。

来源:AGI Hunt · agihunt.info