跳到正文
热点事件持续更新

DwarfStar 本地运行 Kimi K3.1 PRO

2 篇报道1 个报道来源50 分钟前更新

先了解这件事

AI 综述

antirez 已在 DwarfStar 的 kimi-k3 分支加入直接加载 safetensors 权重并运行 Kimi K3.1 PRO 推理的能力,权重通过 SSD 流式读取。其本地实测生成速度约为 1 token/秒,仍可进行交互式问答;达到这一速度至少需要 128GB 内存,拥有 512GB 内存时体验会明显更好。

AI 根据报道生成 · 刚刚更新

事件进展

2 个进展

  1. 11月8日 18:55 · 1 篇报道
    实测Kimi K3.1本地推理
    AGI Hunt:antirez 实测 Kimi K3.1 PRO 本地推理速度约 1 token/秒
  2. 11月8日 17:58 · 1 篇报道
    DwarfStar 支持运行 Kimi K3.1 PRO
    AGI Hunt:DwarfStar kimi-k3 分支支持直接运行 Kimi K3.1 PRO

报道时间线

沿着报道,了解事件的不同侧面。

11月8日
  1. AGI Hunt
    antirez 实测 Kimi K3.1 PRO 本地推理速度约 1 token/秒

    Redis 作者 antirez 通过 DwarfStar 的 kimi-k3 分支本地运行 Kimi K3.1 PRO,生成速度约 1 token/秒,仍可交互式使用。实测显示,达到这一速度至少需要 128GB 内存,拥有 512GB 内存时体验会明显更好。

  2. AGI Hunt
    DwarfStar kimi-k3 分支支持直接运行 Kimi K3.1 PRO

    DwarfStar 的 kimi-k3 分支现已支持从 safetensors 权重加载,并通过 SSD 流式读取运行 Kimi K3.1 PRO 推理。antirez 表示当前速度较慢,但已足以完成 QA 类任务。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。