小参数循环MoE架构提出缓存优化设想
热点事件持续更新
小参数循环MoE架构提出缓存优化设想
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
一名 Reddit 用户提出约 10B 总参数、2B 激活参数的小型循环 MoE 架构,设想以 MoE 稀疏化配合 Engram 静态知识表和循环推理,并将可存于 SSD 的 20–50B 静态参数用于补充事实,以减少重复推理和显存占用。 该设计还借鉴 Dorry 式 KV 缓存优化,目标在于降低循环推理的缓存开销;目前仅是个人提出的架构设想,尚无实验数据验证其效果。
AI 根据报道生成 · 2 小时前更新
最新进展11月18日 00:33
小参数循环 MoE 架构设想:Engram 知识表与 Dorry KV 缓存优化报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- AGI Hunt小参数循环 MoE 架构设想:Engram 知识表与 Dorry KV 缓存优化
一位 Reddit 用户提出小型循环 MoE 架构设想,约为 10B 总参、2B 激活参数,结合 MoE 稀疏化、Engram 静态知识表、循环推理与 Dorry 式 KV 缓存优化。该设计拟以可留在 SSD 的 20-50B 静态参数补充事实,并降低循环推理的显存开销,但目前没有实验数据。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。