跳到正文
AGI Hunt· tianyin_xu·· 2 小时前AI 评分63

UCSD Hao AI Lab 发布 vstack 与 veriserve,用 516,973 条义务验证 LLM 推理引擎

TLAPS 验证 LLM 推理引擎:52 万义务安全证明仅增 0.18% 延迟

AI 导读

UCSD Hao AI Lab 发布面向编程智能体的 5 阶段形式化验证工作流 vstack,以及支持 PD 分离的可验证推理引擎原型 veriserve。团队将其应用于 SGLang 和 vLLM 的生产级 Prefill-Decode 推理服务,发现 3 类 RDMA 与缓存并发 bug,并提交 6 个上游 PR。

来源:AGI Hunt · agihunt.info