返回行业动态

Liquid AI 开源 LFM2.5-VL-DSpark:加速视觉语言模型推理

2026/09/25 05:03
查看原文

OmniTools 9月25日消息,Liquid AI 在 Hugging Face 平台发布实验性推测解码(speculative decoding)辅助模型 LFM2.5-VL-DSpark,专为 30 亿参数视觉语言模型 LFM2.5-VL-3B 设计。

该辅助模型采用 4 层纯注意力架构,包含约 2.8 亿参数,仅使整体参数量增加 8.9%。实测数据显示,在 Apple M5 Max 设备上解码速度最高提升 3.13 倍,端到端延迟优化 1.56–2.62 倍;在 H100 GPU 上解码提速达 2.66 倍,端到端提升 1.64–2.27 倍。

LFM2.5-VL-DSpark 已提供 Safetensors 与 GGUF 格式,并原生支持 llama.cpp、MLX-VLM 及 SGLang 推理框架。官方指出,推测解码仅加速解码阶段,不优化视觉编码与预填充(prefill)阶段,因此在边缘设备等预填充占比较高的场景中,端到端收益受限于阿姆达尔定律。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部