Hacker News·· 10 小时前AI 评分63
Cerebras 推出分离式推理方案,提升每兆瓦吞吐量
Cerebras Disaggregated Inference
AI 导读
Cerebras 推出分离式推理方案,由 GPU 负责 prompt 处理(prefill),Cerebras 系统负责响应生成(decode),目前已在生产环境运行。实测部署中,该组合较仅使用 CS-3 的配置实现每兆瓦吞吐量 5X,且未损失 token 生成速度;Cerebras 计划在 2027 年底前将其广泛部署到 Cerebras Inference Cloud 和合作伙伴部署中。
来源:Hacker News · cerebras.ai