AGI Hunt· AIFlow_ML·· 4 小时前AI 评分48
TensorFold 与 SGLang 的 Agent 任务对比:prefill 速度决定胜负
解码更快不等于 agent 先跑完:prefill 速度决定胜负
AI 导读
在单台 DGX Spark 上运行同一 Qwen3.8-27B 编码 agent 任务时,TensorFold 生成速度更快(52.7 vs 40.8 tok/s),但 SGLang 的 prompt prefill 速度约快 60%,最终整体任务胜出。Agent 读取的 token 远多于生成的 token,评测推理引擎应重点关注 prefill 速度,而非只看输出 tok/s。
来源:AGI Hunt · agihunt.info