返回行业动态

vLLM 推出无需置信头的在线拟合接受估计器,支持 EAGLE/MTP 等投机解码

2026/10/14 22:27
查看原文

OmniTools 10月15日消息,vLLM 官方宣布推出新型在线拟合接受估计器,将置信度评分(confidence scoring)能力扩展至所有基于草稿模型的投机解码类型(如 EAGLE、MTP 等)。该功能通过在线拟合的逻辑回归模型,直接从草稿模型 logits 中提取特征预测目标模型的接受概率,作为自适应验证(Adaptive Verification)的置信分,无需额外训练置信度头部。此举显著提升了投机解码的灵活性与部署效率。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部