Baseten 工程师实测：AI 自动构建的推理引擎 VibeQwen 性能较 vLLM 提升最高 90%

OmniTools 10月3日消息，据 Baseten 官方博客消息，其工程师团队参考 MetaInfer 论文方法，利用 Claude Code（Fable 5）为 Qwen-3.6-35B-A3B 模型（NVFP4 精度，单卡 B200）自动构建了推理引擎 VibeQwen。

实测数据显示，在单流解码场景下，VibeQwen 的运行速度较 vLLM 0.25.1 最高提升 90%，首 Token 延迟从 28ms 降至 12ms。在 32 并发负载下，其吞吐量较 vLLM 提升 71%。