AGI Hunt· Julianfmack·· 1 小时前AI 评分42
Hybrid-Spark 推理加速:逐步切换草稿模型最高提速 1.62 倍
Hybrid-Spark 推理加速:按步切换草稿模型最高提速 1.62 倍
AI 导读
Hybrid-Spark 提出按请求、按推理步骤动态切换草稿器的混合调度,在模型式 DSpark 与无模型 n-gram 草稿器之间依据编辑距离等信号选择。代码编辑场景实测中,相比仅用 DSpark 最高再提速 1.62 倍,且在 BS 4 和 BS 128 的各编辑距离区间均优于单一草稿器方案。
来源:AGI Hunt · agihunt.info