AGI Hunt· elemental-mind·· 10 小时前AI 评分50
Cerebras 发布 GPU 与 WSE 分离式推理架构
Cerebras 推分离式推理:GPU 算 KV cache,WSE 专职生成 token
AI 导读
Cerebras 发布分离式推理架构,由标准 GPU 处理 prompt 预处理和计算 KV cache,再将预计算结果交给 WSE 生成 token。该方案不降低首 token 延迟,但可让 WSE 保持超高速,最多生成 5 倍 token,为数据中心提供更灵活的算力扩展方式。
来源:AGI Hunt · agihunt.info