跳到正文
AGI Hunt· looselyhuman·· 1 小时前AI 评分39

Pi Auto 模式用 Laya 421M 小模型路由工具调用风险,Q8_0 量化下单次约 12ms

开发者用 421M 小模型做工具调用风险路由,Q8_0 下单次仅 12ms

AI 导读

Pi 开发者正构建 Auto 模式,以 Laya 421M 小模型判断工具调用是否危险,Q8_0 量化运行在 3080 上约 12ms/次。小回放集捕获了 24/24 个受监控危险调用,但也误报 4/6 个良性读取;触发升级时,Qwen 3.5 4B 约需 150ms 完成判断。

来源:AGI Hunt · agihunt.info