DGX Spark实测SGLang推理表现优于vLLM
热点事件持续更新
DGX Spark实测SGLang推理表现优于vLLM
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
据 fullctx 在配备128GB统一内存的DGX Spark上实测,运行Inkling 2 Mini时,SGLang仅需65GB内存,vLLM需105GB;处理15.6k token提示词的预填充时间分别为4.48秒和9.23秒,SGLang速度约快一倍。按该测试结果,SGLang还可在模型运行期间释放约40GB内存,用于同时运行智能体和工具链。
AI 根据报道生成 · 43 分钟前更新
最新进展11月22日 10:41
DGX Spark 实测:SGLang 仅用 65GB 运行 Inkling 2 Mini,速度比 vLLM 快一倍报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- AGI HuntDGX Spark 实测:SGLang 仅用 65GB 运行 Inkling 2 Mini,速度比 vLLM 快一倍
DGX Spark 实测显示,运行 Inkling 2 Mini 时,SGLang 仅需 65GB 内存,vLLM 则需 105GB;处理 15.6k token 提示词分别耗时 4.48 秒和 9.23 秒。SGLang 还能节省约 40GB 内存余量,用于在模型旁运行 agent 和工具链。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。