vLLM 发布 AMD GPU 推测解码实践：五种草案方法吞吐量对比

OmniTools 9月8日消息，vLLM 官方博客发布技术实践报告，介绍在 AMD Instinct MI300X 和 MI355X GPU 上基于 ROCm 平台运行推测解码的实验结果。

报告指出，不同草案方法对输出令牌吞吐量的影响存在显著差异，具体表现取决于提议长度、模型系列、草案检查点、工作负载及接受率等因素。

文中对比了五种草案方法：原生 MTP、Gemma 4 MTP、EAGLE-3、DFlash 和 DSpark，提供了实测数据与分析。