跳到正文
AGI Hunt· yisongyue·· 2 小时前AI 评分48

Asari AI Labs Agent 自建推理引擎:AMD MI350X 运行 GLM 5.3 比 B200 快 37%

Agent 自建推理引擎:AMD MI350X 跑 GLM 5.3 比 B200 快 37%

AI 导读

Asari AI Labs 的 Agent 在几天内构建自定义推理引擎,以 FP8 精度在 AMD MI350X 上服务 GLM 5.3,速度比 NVIDIA B200/B300 的 8 卡节点快 37%。该方案在 SemiAnalysis 的 AgentX 基准上实现每用户 352 tokens/sec 的 p90 交互速度,所有输出与官方 stock 实现保持一致。

来源:AGI Hunt · agihunt.info