AGI Hunt· petrusenko_max·· 4 小时前AI 评分46
模型回答证明生成的 GPU 成本约为 vLLM 推理的 70–95 倍,更适合作为审计层
模型回答的证明成本约为vLLM推理的70-95倍,更适合做审计层
AI 导读
为模型回答生成证明所需的 GPU 时间约为使用 vLLM 推理同一回答的 70–95 倍,因此证明生成难以进入服务热路径。更现实的定位是审计层,用于抓住路由器“静默换模型”的操作;架构上可将廉价验证部署在边缘。
来源:AGI Hunt · agihunt.info