AGI Hunt· teortaxesTex·· 57 分钟前AI 评分42
Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存
Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存
AI 导读
用户拆解了 Inkling 2 mini 在 1M token 上下文下控制 KV 缓存规模的设计。48 层注意力中仅 4 层保留完整缓存,其余 20 层采用 1024 token 滑动窗口;按 fp8 计算,每 token 约占 16 KiB,1M 上下文约需 16 GiB,而全层保留需约 96 GiB。
来源:AGI Hunt · agihunt.info