跳到正文
AGI Hunt· AccBalanced·· 3 小时前AI 评分53

Cerebras 推出 GPU 预填与 WSE 解码的分解式推理部署

Cerebras 推分解式推理:GPU 预填加晶圆芯片解码

AI 导读

Cerebras 官方宣布推出分解式推理部署,由 GPU 处理 prompt 预填并计算 KV cache,再将 KV cache 交给 WSE 专职解码生成 token。官方称该架构下每兆瓦电力可产出 5 倍的 token,用于提升大规模推理部署的效率与能效。

来源:AGI Hunt · agihunt.info