AGI Hunt· bookwormengr·· 3 小时前AI 评分40
Cerebras 揭秘:如何在晶圆级芯片上部署 2T+ 参数万亿模型
Cerebras 揭秘:如何在晶圆级芯片上部署 2T+ 参数万亿模型
AI 导读
Cerebras 发表长文,解释如何在其晶圆级芯片上部署 2T+ 参数前沿模型。文中以 K3(2T+ 参数)为例,指出其 75% 的层具有恒定状态;DeepSeek v4.1 也可借 KV 复用实现极小 KV 状态,提升单片晶圆的层数与每个 micro-batch 的请求/序列数量。
来源:AGI Hunt · agihunt.info