跳到正文
热点事件持续更新

Inkling 2 mini长上下文缓存设计拆解

1 篇报道1 个报道来源41 分钟前更新

先了解这件事

AI 综述

X 用户 teortaxesTex 拆解称,Inkling 2 mini 在 1M token 上下文下通过分层缓存控制 KV 缓存规模:48 层注意力中仅 4 层保留完整缓存,另有 20 层采用 1024 token 滑动窗口。按 fp8 计算,每 token 约占 16 KiB,1M 上下文约需 16 GiB,而全层保留约需 96 GiB。该结论来自用户的设计分析,并非官方公布的缓存方案或实测数据。

AI 根据报道生成 · 30 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    Inkling 2 mini 千兆上下文 KV 缓存设计拆解:仅 8 层保留全缓存

    用户拆解了 Inkling 2 mini 在 1M token 上下文下控制 KV 缓存规模的设计。48 层注意力中仅 4 层保留完整缓存,其余 20 层采用 1024 token 滑动窗口;按 fp8 计算,每 token 约占 16 KiB,1M 上下文约需 16 GiB,而全层保留需约 96 GiB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。