AGI Hunt· jacek2023·· 1 小时前AI 评分66
llama.cpp 合入 token 感知解析以改进工具调用
llama.cpp 合入 token 感知解析:工具调用更稳、吞吐更高
AI 导读
llama.cpp 合入 PR #29307「token aware parsing」,通过感知 token 边界改进 chat 解析,目标在于提升工具调用可靠性与每秒 token 数。该 PR 包含 62 个 commits、+1988/-502 行代码,并历经 5 轮 review;这一改动面向使用 function calling 和 Agent 工作流在本地运行 LLM 的开发者。
来源:AGI Hunt · agihunt.info