跳到正文
热点事件持续更新

DGX Spark实测SGLang推理表现优于vLLM

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

据 fullctx 在配备128GB统一内存的DGX Spark上实测,运行Inkling 2 Mini时,SGLang仅需65GB内存,vLLM需105GB;处理15.6k token提示词的预填充时间分别为4.48秒和9.23秒,SGLang速度约快一倍。按该测试结果,SGLang还可在模型运行期间释放约40GB内存,用于同时运行智能体和工具链。

AI 根据报道生成 · 43 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. AGI Hunt
    DGX Spark 实测:SGLang 仅用 65GB 运行 Inkling 2 Mini,速度比 vLLM 快一倍

    DGX Spark 实测显示,运行 Inkling 2 Mini 时,SGLang 仅需 65GB 内存,vLLM 则需 105GB;处理 15.6k token 提示词分别耗时 4.48 秒和 9.23 秒。SGLang 还能节省约 40GB 内存余量,用于在模型旁运行 agent 和工具链。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。