跳到正文
Hacker News·· 2 小时前AI 评分66

vLLM 使用约束解码修复工具调用准确率问题

Fixing Tool-Call Accuracy in vLLM

AI 导读

Ubicloud 通过 vLLM 约束解码提升 Kimi 和 DeepSeek 的工具调用 schema 准确率。团队在 K2VV ToolCall 基准上将准确率从 92% 提升至 100%,并在 vLLM 0.31 中通过服务端参数启用该功能。文章还分析了默认启用后部分模型出现质量下降的模型适配、语法转换和功能交互问题。

来源:Hacker News · ubicloud.com