跳到正文
热点事件持续更新

小参数循环MoE架构提出缓存优化设想

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

一名 Reddit 用户提出约 10B 总参数、2B 激活参数的小型循环 MoE 架构,设想以 MoE 稀疏化配合 Engram 静态知识表和循环推理,并将可存于 SSD 的 20–50B 静态参数用于补充事实,以减少重复推理和显存占用。 该设计还借鉴 Dorry 式 KV 缓存优化,目标在于降低循环推理的缓存开销;目前仅是个人提出的架构设想,尚无实验数据验证其效果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    小参数循环 MoE 架构设想:Engram 知识表与 Dorry KV 缓存优化

    一位 Reddit 用户提出小型循环 MoE 架构设想,约为 10B 总参、2B 激活参数,结合 MoE 稀疏化、Engram 静态知识表、循环推理与 Dorry 式 KV 缓存优化。该设计拟以可留在 SSD 的 20-50B 静态参数补充事实,并降低循环推理的显存开销,但目前没有实验数据。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。