Quail AI.EXTRACT 用文档抄词投机解码加速抽取，平均提速 4.7 倍

Shreya Shankar 与 Charles Frye 介绍 Quail 中 AI.EXTRACT 的实现，通过从文档本身复制草词进行投机解码，并在推理中自适应学习草稿长度。相比 naive vLLM 基线平均提速 4.7 倍、最高 19 倍，相比手写调优的 vLLM 基线平均提速 1.8 倍；草稿长度会按任务自动从约 10 tokens 收敛至约 50 tokens。