AGI Hunt· AIFlow_ML·· 1 小时前AI 评分37
DGX Spark 实测:SGLang 仅用 65GB 运行 Inkling 2 Mini,速度比 vLLM 快一倍
DGX Spark 实测:SGLang 仅用 65GB 跑 Inkling 2 Mini,快 vLLM 一倍
AI 导读
DGX Spark 实测显示,运行 Inkling 2 Mini 时,SGLang 仅需 65GB 内存,vLLM 则需 105GB;处理 15.6k token 提示词分别耗时 4.48 秒和 9.23 秒。SGLang 还能节省约 40GB 内存余量,用于在模型旁运行 agent 和工具链。
来源:AGI Hunt · agihunt.info