AGI Hunt· AccBalanced·· 3 小时前AI 评分53
Cerebras 推出 GPU 预填与 WSE 解码的分解式推理部署
Cerebras 推分解式推理:GPU 预填加晶圆芯片解码
AI 导读
Cerebras 官方宣布推出分解式推理部署,由 GPU 处理 prompt 预填并计算 KV cache,再将 KV cache 交给 WSE 专职解码生成 token。官方称该架构下每兆瓦电力可产出 5 倍的 token,用于提升大规模推理部署的效率与能效。
来源:AGI Hunt · agihunt.info