跳到正文
AGI Hunt· SilentMobius·· 3 小时前AI 评分29

本地推理引擎处理模型生成控制 token 导致 CoT 中断

本地推理引擎难题:模型生成think标签就中断思维链

AI 导读

一位开发者在修改 llama.cpp 与 Strata 以适配 Q38FN、Q3827B、DS41F 等本地模型时,发现流式 token 处理会误处理模型自身生成的控制 token,导致思维链(CoT)提前中断或回合终止。开发者指出,目前缺乏针对 end-of-turn token 等模型生成结束或控制 token 的正式保护机制,并向本地推理服务器开发者征集解决方案。

来源:AGI Hunt · agihunt.info