跳到正文
AGI Hunt· togethercompute·· 4 小时前AI 评分52

Together AI 优化 Step 3 推理服务栈,吞吐量提升 3.47 倍

Together 优化服务栈,Step 3 吞吐量提升 3.5 倍

AI 导读

Together AI 宣布针对 StepFun 的 TTFT 与 TPS 目标优化推理服务栈,使 Step 3 模型吞吐量提升至 3.47 倍。优化使用 Agent 辅助搜索 MoE 路由、调度、内核、投机解码与稀疏注意力等方向,并在每项改动后进行 benchmark 验证。

来源:AGI Hunt · agihunt.info