AGI Hunt· SonglinYang4·· 1 小时前AI 评分74
Thinking Machines Lab 发布 26.4B 参数循环 Transformer 模型 Inkling 2 Mini
Thinking Machines 发布循环 transformer Inkling 2 Mini,26B 参数问鼎小模型编码榜
AI 导读
Thinking Machines Lab 发布开源权重模型 Inkling 2 Mini,采用 MoE 架构,总参数 26.4B、激活参数 3.4B,计入循环后每个 token 的权重激活为 5.4B。
来源:AGI Hunt · agihunt.info