跳到正文
MarkTechPost· Asif Razzaq·· 3 小时前AI 评分53

Liquid AI 发布面向 LFM 的实时推理引擎 Liquid RIPL

Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs

AI 导读

Liquid AI 发布 Liquid RIPL 实时推理引擎,用于在实时请求链路中服务 LFM2.5 模型。Liquid 称其端到端响应延迟可低于 50 ms,并支持 230M 至 2.6B 参数模型;自测 p95 延迟较 Qwen3.5 on vLLM 低 5.6 至 28.4 倍,但较长请求无法保持 sub-50 ms。

来源:MarkTechPost · marktechpost.com