跳到正文
热点事件持续更新

Kimi K3.1 Pro完成多平台Day-0适配

2 篇报道1 个报道来源52 分钟前更新

先了解这件事

AI 综述

SGLang宣布Day-0支持Kimi K3.1 Pro,并称模型采用稀疏注意力DSA替代稠密MLA,可提升服务效率、简化部署;tinygrad团队则已用默认SGLang配置在8张AMD MI350X上完成部署测试。 在16,125 tokens输入下,8卡MI350X测试的prefill吞吐约5,993 tok/s、解码速度310 tok/s、首token时间2.706秒;另一组默认配置测试解码约300 tok/s,较K3的约60 tok/s快约5倍。SGLang公布的单卡最高33.7K tok/s来自AgentX的GB300环境,DFlash2与MegaKernel组合下单用户速度为450 tok/s,均非8卡MI350X测试结果。

AI 根据报道生成 · 35 分钟前更新

事件进展

2 个进展

  1. 11月7日 12:37 · 1 篇报道
    SGLang Day-0支持Kimi K3.1 Pro
    AGI Hunt:SGLang Day-0 支持 Kimi K3.1 Pro,单卡吞吐最高 33.7K tok/s
  2. 11月7日 12:20 · 1 篇报道
    Kimi K3.1 Pro在8卡MI350X完成部署测试
    AGI Hunt:Kimi K3.1 Pro 在 8 卡 AMD MI350X 上跑出 300 tok/s,较 K3 提速 5 倍

报道时间线

沿着报道,了解事件的不同侧面。

11月7日
  1. AGI Hunt
    SGLang Day-0 支持 Kimi K3.1 Pro,单卡吞吐最高 33.7K tok/s

    SGLang 宣布 Day-0 支持 Kimi K3.1 Pro,并通过稀疏注意力 DSA 替代稠密 MLA,以提升服务效率和部署便利性。其在 AgentX、GB300 环境下单卡吞吐最高达 33.7K tok/s,DFlash2 与 MegaKernel 组合下单用户速度为 450 tok/s。

  2. AGI Hunt
    Kimi K3.1 Pro 在 8 卡 AMD MI350X 上跑出 300 tok/s,较 K3 提速 5 倍

    tinygrad 团队用 8 张 AMD MI350X 和默认 SGLang 配置跑通支持 Day 0 的 Kimi K3.1 Pro,解码速度约 300 tok/s,较 K3 的约 60 tok/s 提升约 5 倍。在 16,125 tokens 输入下,prefill 吞吐约 5,993 tok/s,解码速度为 310 tok/s,TTFT 为 2.706s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。