Liquid AI 发布 RIPL 实时推理引擎,为 LFM 模型提供低于 50 ms 延迟
Liquid AI Launches RIPL, a Real-Time Inference Engine for Sub-50 ms LFMs
阅读原文
本站未展示全文,请前往来源网站阅读。
AI 导读
Liquid AI 发布实时推理引擎 RIPL,可在实时请求路径中服务 230M 至 2.6B 参数的 LFM2.5 模型,端到端响应低于 50 ms。官方测试显示其 p95 延迟比 vLLM 上的 Qwen3.5 低 5.6 至 28.4 倍,其中 LFM2.5-1.2B 为 155.8 ms 对 4,431 ms。
来源:MarkTechPost · marktechpost.com