Quail以文档草词投机解码加速抽取

Shreya Shankar与Charles Frye介绍Quail中AI.EXTRACT的实现：抽取时从文档本身复制候选词作为草稿进行投机解码，并在推理中自适应学习草稿长度。测试中，相比naive vLLM基线平均提速4.7倍、最高19倍；相比手写调优的vLLM基线，平均提速1.8倍。 其草稿长度会随任务自动调整，从约10个tokens逐步收敛至约50个tokens，以减少不合适的草稿开销并提高抽取速度。

AI 根据报道生成 · 40 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。