跳到正文
AGI Hunt· SonglinYang4·· 1 小时前AI 评分74

Thinking Machines Lab 发布 26.4B 参数循环 Transformer 模型 Inkling 2 Mini

Thinking Machines 发布循环 transformer Inkling 2 Mini,26B 参数问鼎小模型编码榜

AI 导读

Thinking Machines Lab 发布开源权重模型 Inkling 2 Mini,采用 MoE 架构,总参数 26.4B、激活参数 3.4B,计入循环后每个 token 的权重激活为 5.4B。

来源:AGI Hunt · agihunt.info