跳到正文
AGI Hunt· andrew_n_carr·· 5 小时前AI 评分23

Inkling 2 Small 推理细节:每层需维护 3-token 滚动卷积缓存

AI 导读

andrew_n_carr 指出,Inkling 2 Small 的 width-4 sconv 要求推理引擎在每层额外维护一个滚动 3-token 卷积缓存。该架构并非纯标准 Transformer,自建推理栈需为这一非卷积部分提供专门的缓存支持。

来源:AGI Hunt · agihunt.info