Cerebras分离GPU与WSE推理负载
先了解这件事
Cerebras推出分离式推理:标准GPU负责提示词预填充和KV cache计算,晶圆级引擎WSE专注解码生成token。该方案已在生产环境运行;Cerebras称,相比仅使用CS-3的部署,其每兆瓦token吞吐量提升5倍,同时未降低生成速度。 AWS、Fireworks AI、Gimlet Labs和General Compute已获得早期访问权限,Cerebras计划在2027年底前把该方案广泛部署到Cerebras Inference Cloud及合作伙伴部署中。
AI 根据报道生成 · 3 小时前更新
事件进展
2 个进展
- 11月18日 08:56 · 1 篇报道分离式推理方案投入生产Hacker News:Cerebras 推出分离式推理方案,提升每兆瓦吞吐量
- 11月18日 08:34 · 2 篇报道Cerebras发布分离式推理架构AGI Hunt:Cerebras 推出 GPU 预填与 WSE 解码的分解式推理部署
报道时间线
沿着报道,了解事件的不同侧面。
- AGI HuntCerebras 推出 GPU 预填与 WSE 解码的分解式推理部署
Cerebras 官方宣布推出分解式推理部署,由 GPU 处理 prompt 预填并计算 KV cache,再将 KV cache 交给 WSE 专职解码生成 token。官方称该架构下每兆瓦电力可产出 5 倍的 token,用于提升大规模推理部署的效率与能效。
- Hacker NewsCerebras 推出分离式推理方案,提升每兆瓦吞吐量
Cerebras 推出分离式推理方案,由 GPU 负责 prompt 处理(prefill),Cerebras 系统负责响应生成(decode),目前已在生产环境运行。实测部署中,该组合较仅使用 CS-3 的配置实现每兆瓦吞吐量 5X,且未损失 token 生成速度;Cerebras 计划在 2027 年底前将其广泛部署到 Cerebras Inference Cloud 和合作伙伴部署中。
- AGI HuntCerebras 发布 GPU 与 WSE 分离式推理架构
Cerebras 发布分离式推理架构,由标准 GPU 处理 prompt 预处理和计算 KV cache,再将预计算结果交给 WSE 生成 token。该方案不降低首 token 延迟,但可让 WSE 保持超高速,最多生成 5 倍 token,为数据中心提供更灵活的算力扩展方式。
本事件热度走势
- 可比范围当前
- 17
- 可比范围峰值
- 1911月18日 10:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。