跳到正文
MarkTechPost· Asif Razzaq·· 3 小时前AI 评分46

Liquid AI 发布 RIPL 实时推理引擎,为 LFM 模型提供低于 50 ms 延迟

Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs

阅读原文

本站未展示全文,请前往来源网站阅读。

AI 导读

Liquid AI 发布实时推理引擎 RIPL,可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型,端到端响应低于 50 ms。官方测试显示其 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍,其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。

来源:MarkTechPost · marktechpost.com