跳到正文
AGI Hunt· NationalUniversityofSingapore·· 2 小时前AI 评分54

新加坡国立大学与牛津团队开源 Flide 决策模型推理引擎

Flide 推理引擎:决策模型 agent 提速 9.5 倍且保持精确

AI 导读

新加坡国立大学与牛津团队发布并开源 Flide,面向决策模型 AI 智能体提供精确推理。Flide 通过 ForkAttention 在 GPU 常驻索引上导航请求依赖,结果与独立前向传播完全一致,并支持从 checkpoint 恢复智能体历史。评测显示,其查询速度最高比 vLLM 和 SGLang 快 9.5 倍,总变差距离最接近 float32 参考值。

来源:AGI Hunt · agihunt.info