跳到正文
AGI Hunt· elemental-mind·· 10 小时前AI 评分50

Cerebras 发布 GPU 与 WSE 分离式推理架构

Cerebras 推分离式推理:GPU 算 KV cache,WSE 专职生成 token

AI 导读

Cerebras 发布分离式推理架构,由标准 GPU 处理 prompt 预处理和计算 KV cache,再将预计算结果交给 WSE 生成 token。该方案不降低首 token 延迟,但可让 WSE 保持超高速,最多生成 5 倍 token,为数据中心提供更灵活的算力扩展方式。

来源:AGI Hunt · agihunt.info