Hugging Face Blog·· 8 天前AI 评分59
Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,解码最高提速 3.13x
Accelerating vision-language models with LFM2.5-VL-DSpark
AI 导读
Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下加速推理。解码最高提速 3.13x(M5 Max 设备端)和 2.66x(H100),端到端最高提升 2.62x 和 2.27x。
来源:Hugging Face Blog · huggingface.co