AGI Hunt· Scobleizer·· 22 小时前AI 评分45
4 张 AMD Instinct MI355X 部署 DeepSeek-V4.1-Flash,推理速度创纪录
4 张 AMD MI355X 跑出 1129 tokens/秒,DeepSeek 推理创纪录
AI 导读
Sciforium 将 DeepSeek-V4.1-Flash 部署在 4 张 AMD Instinct MI355X GPU 上,借助针对真实流量调优的投机解码 drafters,P90 输出速度达到 1129 tokens/秒,约 9 秒生成一万 token。该成绩来自真实生产流量,团队表示未重写 vLLM。
来源:AGI Hunt · agihunt.info