跳到正文
热点事件持续更新

Cerebras分离GPU与WSE推理负载

3 篇报道2 个报道来源3 小时前更新

先了解这件事

AI 综述

Cerebras推出分离式推理:标准GPU负责提示词预填充和KV cache计算,晶圆级引擎WSE专注解码生成token。该方案已在生产环境运行;Cerebras称,相比仅使用CS-3的部署,其每兆瓦token吞吐量提升5倍,同时未降低生成速度。 AWS、Fireworks AI、Gimlet Labs和General Compute已获得早期访问权限,Cerebras计划在2027年底前把该方案广泛部署到Cerebras Inference Cloud及合作伙伴部署中。

AI 根据报道生成 · 3 小时前更新

事件进展

2 个进展

  1. 11月18日 08:56 · 1 篇报道
    分离式推理方案投入生产
    Hacker News:Cerebras 推出分离式推理方案,提升每兆瓦吞吐量
  2. 11月18日 08:34 · 2 篇报道
    Cerebras发布分离式推理架构
    AGI Hunt:Cerebras 推出 GPU 预填与 WSE 解码的分解式推理部署

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. AGI Hunt
    Cerebras 推出 GPU 预填与 WSE 解码的分解式推理部署

    Cerebras 官方宣布推出分解式推理部署,由 GPU 处理 prompt 预填并计算 KV cache,再将 KV cache 交给 WSE 专职解码生成 token。官方称该架构下每兆瓦电力可产出 5 倍的 token,用于提升大规模推理部署的效率与能效。

  2. Hacker News
    Cerebras 推出分离式推理方案,提升每兆瓦吞吐量

    Cerebras 推出分离式推理方案,由 GPU 负责 prompt 处理(prefill),Cerebras 系统负责响应生成(decode),目前已在生产环境运行。实测部署中,该组合较仅使用 CS-3 的配置实现每兆瓦吞吐量 5X,且未损失 token 生成速度;Cerebras 计划在 2027 年底前将其广泛部署到 Cerebras Inference Cloud 和合作伙伴部署中。

  3. AGI Hunt
    Cerebras 发布 GPU 与 WSE 分离式推理架构

    Cerebras 发布分离式推理架构,由标准 GPU 处理 prompt 预处理和计算 KV cache,再将预计算结果交给 WSE 生成 token。该方案不降低首 token 延迟,但可让 WSE 保持超高速,最多生成 5 倍 token,为数据中心提供更灵活的算力扩展方式。

本事件热度走势

可比范围当前
17
可比范围峰值
1911月18日 10:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。