论文提出并行提示解码加速多问题推理

论文作者提出 Parallel Prompting，将同一共享文档对应的多个问题解码为独立并行流，每步只读取一次共享文档，并用注意力掩码隔离各问题的答案流。 在 CodeLlama-7B、8k—16k token 文档且每份文档包含64—256个问题的测试设置下，该方法相较使用 FlashInfer 后端的原版 SGLang，在 A100 上提速3.7倍，在 RTX A6000 上提速5.9—6.0倍；作者还在两个 SGLang 版本（包括最新版）上验证了效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。