Inkling 2 mini长上下文缓存设计拆解
热点事件持续更新
Inkling 2 mini长上下文缓存设计拆解
1 篇报道1 个报道来源41 分钟前更新
先了解这件事
AI 综述
X 用户 teortaxesTex 拆解称,Inkling 2 mini 在 1M token 上下文下通过分层缓存控制 KV 缓存规模:48 层注意力中仅 4 层保留完整缓存,另有 20 层采用 1024 token 滑动窗口。按 fp8 计算,每 token 约占 16 KiB,1M 上下文约需 16 GiB,而全层保留约需 96 GiB。该结论来自用户的设计分析,并非官方公布的缓存方案或实测数据。
AI 根据报道生成 · 30 分钟前更新
最新进展11月22日 21:08
Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI HuntInkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存
用户拆解了 Inkling 2 mini 在 1M token 上下文下控制 KV 缓存规模的设计。48 层注意力中仅 4 层保留完整缓存,其余 20 层采用 1024 token 滑动窗口;按 fp8 计算,每 token 约占 16 KiB,1M 上下文约需 16 GiB,而全层保留需约 96 GiB。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。