返回工具研究所
行业深度原创24 分钟阅读

腾讯混元 Hy4 preview 怎么部署?vLLM/SGLang Docker 完整教程与常见报错排查

腾讯混元 Hy4 preview 怎么部署?vLLM/SGLang Docker 完整教程与常见报错排查 Hy4 preview 是腾讯混元开源的预览版大模型:770B 总参数的 MoE 架构,支持 1M 上下文,Apache 2.0 许可证,权重在 HuggingFace 和 ModelScope 上免申请直接下载。

2026/08/31查看来源
最新工具

刚收录的 AI 工具,适合继续发现可用产品。

查看全部

腾讯混元 Hy4 preview 怎么部署?vLLM/SGLang Docker 完整教程与常见报错排查

Hy4 preview 是腾讯混元开源的预览版大模型:770B 总参数的 MoE 架构,支持 1M 上下文,Apache 2.0 许可证,权重在 HuggingFace 和 ModelScope 上免申请直接下载。但“开源”和“能跑”是两回事。官方 README 给出的两条示例启动命令都是 8 卡张量并行,FP8 权重本身就约 770GB,消费级显卡和工作站卡目前还有未修复的兼容性问题。这篇教程面向手里有 GPU 集群、打算自建 Hy4 preview 推理服务的开发者,从硬件核对、权重下载、vLLM/SGLang 两条官方路径的 Docker 启动、API 验证到报错排查走完整链路。如果你的硬件不匹配,第一部分会帮你直接做出判断,省下几天的无效尝试。

Hy4 preview 部署需要什么硬件?先核对再动手

先给结论:官方 README 没有写“最低 8 卡”这样的字样,准确的事实是,官方给出的 vLLM 和 SGLang 两条示例启动命令都是 8 卡张量并行(TP8)配置。SGLang 团队在自己的 cookbook 里另外验证过 4 张 B300 的 TP4 方案。所以“8 卡”是官方示例的默认配置,不是写死的最低要求,但量级摆在这里:低于这个规模的集群基本不用考虑。

具体到显存,可以分三层看。

第一层是权重本身的体积。HuggingFace 平台数据显示,FP8 仓库(tencent/Hy4-preview-FP8)的参数量约 770.3GB,整个仓库含 130 个 safetensors 分片,约 814GB;BF16 仓库(tencent/Hy4-preview)约 1.56TB,131 个分片。这意味着 8 张 80GB 卡(合计 640GB)连 FP8 权重都装不下,更不用说运行时开销——这个推算你可以按自己集群的卡型自行比对。

第二层是官方验证过的卡型方案。SGLang 团队在 cookbook 中给出了按 GPU 型号的配置表:

GPU(显存)FP8 权重(MXFP8 路径)BF16 权重上下文参考
H200(141GB)不支持,需 SM100+TP16 双节点约 131K
B200(192GB)单节点 TP8约 262K
B300(288GB)单节点 TP4单节点 TP8
GB300(288GB)TP4双节点

注意这是 SGLang 团队的验证口径,vLLM 官方 recipes 页面的表述是“在 16 张 B200 或 8 张 B300 上验证,配合 MTP”,两个官方来源对 B200 的配置说法不一致,本文不做裁决,只并列呈现,你用哪条路径就以哪边的口径为准。

第三层是社区估算。腾讯新闻的一篇评测给出“约 770GB 聚合显存”的门槛估算,这个数字与 HuggingFace 平台数据的 FP8 权重大小吻合,但要注意它的假设条件:只算了权重本身,没有包含 KV cache、激活值和运行时冗余。实际部署需要的显存只会比这个数字高。

最后是“哪些卡明确不行”。FP8 权重使用的 MXFP8 内核路径要求 SM100 及以上架构,也就是 Blackwell 数据中心卡。H200(SM90)加载 FP8 权重会报架构不匹配,只能走 BF16 双节点路线。更要注意的是 SM120 架构的消费级和工作站卡(RTX 50 系列、RTX PRO 6000 Blackwell 等):vLLM 仓库有一个尚未关闭的 issue 记录了在这类卡上输出严重退化(重复输出"of of of"之类内容)的现象,官方指定的 FLASHMLA_SPARSE 注意力后端只支持 SM90 和 SM100。在 issue 修复之前,不要在这类卡上部署。

一句话总结:8 张 Blackwell 数据中心级 GPU(B200/B300 类)是官方示例的配置基准;H200 走 BF16 双节点;消费级和工作站卡目前不可行。

权重从哪下?HuggingFace 和 ModelScope 两条路

官方 README 只给了各平台的仓库链接,没有给下载命令。下面两条命令是两个平台官方 CLI 的标准用法,模型 ID 已与官方仓库核对:

HuggingFace(需先安装 huggingface-cli):

huggingface-cli download tencent/Hy4-preview-FP8

ModelScope(国内网络更稳,需先安装 modelscope):

modelscope download --model Tencent-Hunyuan/Hy4-preview-FP8

下哪个仓库?官方所有 Docker 启动示例用的都是 FP8 仓库,除非你的卡只能跑 BF16(比如 H200),否则直接下 FP8。仓库不是 gated 状态,无需申请即可下载。权重另同步在 GitCode 和 CNB 平台,可作备用下载渠道。

磁盘方面,FP8 仓库约 814GB,BF16 仓库约 1.56TB,下载前确认目标盘有足够余量,并留意下载中断后重新拉取的成本。

vLLM 路径:Docker 启动命令逐参数讲清楚

vLLM 是 Hy4 preview 的 day-0 支持框架,官方发布了定制镜像。官方 README 给出的启动命令核心部分如下(GPU 挂载、缓存目录挂载等 Docker 通用写法按你集群的实际环境调整):

docker run --gpus all --ipc=host --rm -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  vllm/vllm-openai:hy4-preview \
  --model tencent/Hy4-preview-FP8 \
  --tensor-parallel-size 8 \
  --speculative-config '{"num_speculative_tokens":3,"method":"mtp"}' \
  --attention-backend FLASHMLA_SPARSE \
  --tool-call-parser hy_v4 \
  --reasoning-parser hy_v4 \
  --enable-auto-tool-choice \
  --port 8000 \
  --served-model-name hy4-preview

逐个看关键参数:

  • --model tencent/Hy4-preview-FP8:模型 ID。容器启动时会从 HuggingFace 拉取权重,如果已经用 CLI 下载到本地缓存,挂载缓存目录可以避免重复下载。
  • --tensor-parallel-size 8:8 卡张量并行,官方示例配置。卡数不同时这个值要相应调整。
  • --speculative-config '{"num_speculative_tokens":3,"method":"mtp"}':MTP 投机解码,用模型自带的 MTP 层做草稿 token 加速生成。
  • --attention-backend FLASHMLA_SPARSE:稀疏注意力后端,官方指定。注意它只支持 SM90 和 SM100,这是 SM120 卡出问题的根源。
  • --tool-call-parser hy_v4--reasoning-parser hy_v4:Hy4 专用的工具调用解析器和思考内容解析器,让 API 响应正确区分思考内容和最终回答。
  • --enable-auto-tool-choice:开启工具自动选择。
  • --served-model-name hy4-preview:对外暴露的模型名,API 调用时用这个名字。

两个版本差异要注意:vLLM 官方 recipes 页面的版本比 README 版本多一个环境变量 -e VLLM_ENABLE_HPC_OPS=1,用于启用高性能算子。以哪个为准取决于你参照的文档,建议部署前以官方 README 当前版本为准再核对一次。

镜像 tag 方面,README 用的是不带后缀的 :hy4-preview。Docker Hub 上还能搜到带架构和 CUDA 后缀的 tag(如 hy4-preview-x86_64-cu129、hy4-preview-arm64-cu130),属于同一镜像的不同构建变体,正文命令以 README 写法为准即可。

SGLang 路径:命令怎么写,和 vLLM 差在哪

SGLang 同样有官方定制镜像,README 给出的启动命令核心部分如下:

docker run --gpus all --ipc=host --rm -p 8000:8000 \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  lmsysorg/sglang:hy4-preview \
  python3 -m sglang.launch_server \
  --model tencent/Hy4-preview-FP8 \
  --tp-size 8 \
  --reasoning-parser auto \
  --tool-call-parser auto \
  --speculative-algorithm NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --port 8000 \
  --served-model-name hy4-preview

两条路径的差异集中在三处:

差异点vLLMSGLang
MTP 投机解码一个 JSON 配置项(--speculative-config四个独立参数(--speculative-algorithm NEXTN 指定算法,--speculative-num-steps 3 是步数,--speculative-eagle-topk 1 是每步候选数,--speculative-num-draft-tokens 4 是草稿 token 总数)
解析器显式指定 hy_v4auto 自动识别
镜像vllm/vllm-openai:hy4-previewlmsysorg/sglang:hy4-preview,multi-arch,x86 和 Arm 环境都能拉取

SGLang 团队的 cookbook 还提供了 Low-Latency 和 High-Throughput 两种模式的进阶配置,以及按卡型的详细参数表,如果你的场景对延迟或吞吐有明确要求,建议从 cookbook 入口获取对应配置,本文不展开转述。

两条路径怎么选?都是官方推荐,都有定制镜像,按团队既有技术栈选即可,本文不裁决优劣。

容器起来了怎么确认跑通?OpenAI 兼容 API 验证

容器状态 HEALTHY 不等于服务跑通,一次 chat completion 正常返回才算。官方 README 给出的 Python 验证示例:

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:8000/v1",
    api_key="EMPTY",
)

response = client.chat.completions.create(
    model="hy4-preview",
    messages=[
        {"role": "user", "content": "介绍一下你自己"}
    ],
    temperature=0.9,
    top_p=1.0,
)
print(response.choices[0].message.content)

api_key"EMPTY" 是本地部署的惯例写法,官方示例即如此填写。temperature=0.9top_p=1.0 是官方推荐的采样参数。

等价的 curl 写法(按 OpenAI 兼容接口的标准格式整理,非官方原文):

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "hy4-preview",
    "messages": [{"role": "user", "content": "介绍一下你自己"}],
    "temperature": 0.9,
    "top_p": 1.0
  }'

一个新手最容易误判的点:默认情况下响应里会带一大段思考内容,这不是配置错误。Hy4 preview 默认思考模式为 high。如果只要直答,在请求里传:

response = client.chat.completions.create(
    model="hy4-preview",
    messages=[{"role": "user", "content": "介绍一下你自己"}],
    temperature=0.9,
    top_p=1.0,
    extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}},
)

注意 chat template 只接受 highno_think 两个值,传其他值会直接报错,这是模板源码的硬性约束。

部署报错怎么排查?五条有出处的条目

这份清单只收录官方文档和官方仓库 issue 里能查出处的条目。遇到清单外的报错,去 GitHub 仓库的 Issues 区检索或提 issue 是最可靠的路径。

1. SM120 卡上输出重复退化。 现象:在 RTX 50 系或 RTX PRO 6000 Blackwell 等工作站卡上,服务能启动但输出大量重复内容。原因:官方指定的 FLASHMLA_SPARSE 后端只支持 SM90/SM100,SM120 上唯一可用的稀疏后端存在已知退化问题,vLLM 仓库 issue 尚未关闭。处置:这类卡暂勿部署,等官方修复。

2. H200 加载 FP8 权重报架构不匹配。 现象:启动时报内核或架构相关错误。原因:MXFP8 内核路径要求 SM100 及以上。处置:H200 改走 BF16 路线,按 SGLang cookbook 的口径需要 TP16 双节点。

3. 上下文设太大导致显存 OOM。 现象:启动或首个长请求时 OOM。原因:KV cache 约每 token 95KB,且按 TP rank 复制,实际可跑上下文受每卡剩余显存限制,模型标称的 1M 上下文不等于你能开满。处置:显式设置 --max-model-len(vLLM)或对应上下文参数(SGLang),官方 cookbook 示例普遍给到 131K 至 262K。

4. 长时混合负载下服务不稳定。 现象:长时间 agentic 负载浸泡中出现异常。原因:SGLang 官方说明 CUDA graph decode 默认开启,长时混合负载的浸泡验证仍在进行。处置:按官方建议传 --disable-cuda-graph 回退到 eager 模式。

5. 昇腾 NPU 部署。 现状:vllm-ascend 仓库中 Hy4 支持尚处 feature request 阶段,当前实际可用的只有 NVIDIA 路径。

响应冗长、反复自我检查,是部署错了吗?

不是。官方 README 和模型卡明确写了 preview 版的已知问题:模型在复杂任务上会花比必要更长的思考时间,并有过度自我验证的倾向。经媒体转述的官方中文表述为“复杂任务的长思考和过度自我验证倾向”。

这个信息很实用:如果你遇到响应特别长、模型反复检查自己的中间步骤,先对照上一节的排查清单确认不是部署问题,再判断是不是模型自身行为。确认是模型行为后,改配置没有意义,可以通过 no_think 开关在不需要深度思考的场景下直答,或等后续正式版改进。

常见问题

官方要求最低 8 张卡吗? 没有“最低 8 卡”的官方表述。准确说法是官方两条示例命令均为 8 卡 TP 配置,SGLang cookbook 另验证过 4 张 B300 的 TP4 方案。

FP8 权重多大,磁盘留多少? FP8 参数约 770.3GB,仓库约 814GB;BF16 仓库约 1.56TB。预留明显大于仓库体积的磁盘空间。

H200 能跑 FP8 吗? 不能,MXFP8 内核要求 SM100+,H200 只能走 BF16 双节点。

RTX 5090 或 RTX PRO 6000 Blackwell 能跑吗? 不建议,SM120 上有未修复的输出退化 issue。

响应里一大段思考内容怎么关? 默认思考模式为 high,传 reasoning_effort: "no_think" 直答,模板只接受这两个值。

vLLM 和 SGLang 选哪个? 均为官方推荐路径,按团队既有技术栈选。

昇腾 NPU 能部署吗? 暂不支持,尚处 feature request 阶段。

模型支持 1M 上下文,能直接开满吗? 不能简单画等号,实际上下文受每卡剩余显存限制,官方示例普遍在 131K 至 262K 区间。

谁适合现在部署,谁该再等等

适合动手的读者:手里有 8 卡级 Blackwell 数据中心 GPU(B200/B300 类)集群、有 Docker 和多卡推理经验的团队,两条官方路径的镜像和命令都是现成的,从下载权重到 API 验证的链路各环节都有可直接执行的命令。

应该观望的读者:消费级显卡和工作站卡用户,SM120 的输出退化 issue 修复前没有可行路径;H200 用户可以走 BF16 双节点,但要接受 1.56TB 的权重体积和双节点运维成本;昇腾用户当前无官方路径。

下一步:部署前以官方 GitHub README 和 HuggingFace 模型卡为唯一命令依据再核对一次,preview 版本迭代快,命令和镜像 tag 可能更新;遇到报错先查 GitHub Issues 区是否已有同类报告,没有就提一个带完整环境信息的新 issue。

{
  "main_question": "腾讯混元 Hy4 preview(770B MoE、Apache 2.0)怎么在自有 GPU 集群上用 vLLM 或 SGLang Docker 部署跑通,需要什么硬件,常见报错怎么排查",
  "short_answer": "官方 vLLM 与 SGLang 两条示例启动命令均为 8 卡张量并行(TP8),需 Blackwell 数据中心级 GPU(B200/B300 类);FP8 权重约 770GB(仓库约 814GB),从 HuggingFace 或 ModelScope 下载后,用官方定制镜像 vllm/vllm-openai:hy4-preview 或 lmsysorg/sglang:hy4-preview 启动,再以 OpenAI 兼容 API 发一次 chat completion 验证跑通。消费级与工作站卡(SM120)存在未修复的输出退化 issue,暂不可部署。",
  "answer_boundary": "本文只覆盖 Hy4 preview 的自托管部署链路(硬件门槛、权重下载、vLLM/SGLang Docker 启动、API 验证、实证报错排查、preview 已知问题区分),不包含模型能力评测与跑分、GPU 租用价格、云厂商选型、Hy3 及更早版本的部署命令;报错清单仅收录官方文档与官方仓库 issue 可实证的 5 条条目;官方无'最低 8 卡'表述,硬件门槛以'官方示例命令为 8 卡 TP'的口径呈现;'约 770GB 聚合显存'为社区估算(腾讯新闻评测,仅权重、未含 KV cache 与运行时开销),非官方要求。",
  "key_facts": [
    "Hy4 preview:770B 总参数 MoE、1M 上下文、Apache 2.0 许可证,权重免申请下载",
    "官方两条示例启动命令(vLLM 与 SGLang)均为 8 卡张量并行(TP8);官方 README 无'最低 8 卡'字样;SGLang cookbook 另验证过 4×B300 TP4 方案",
    "FP8 权重参数约 770.3GB、仓库约 814GB(130 个 safetensors 分片);BF16 仓库约 1.56TB(131 分片)——HuggingFace 平台数据",
    "MXFP8 内核路径要求 SM100+(Blackwell 数据中心卡);H200(SM90)只能走 BF16 双节点 TP16",
    "SM120 消费级/工作站卡(RTX 50 系、RTX PRO 6000 Blackwell)存在未修复的输出退化 issue(vLLM issue #54434),官方 FLASHMLA_SPARSE 后端仅支持 SM90/SM100",
    "vLLD 镜像 vllm/vllm-openai:hy4-preview;SGLang 镜像 lmsysorg/sglang:hy4-preview(multi-arch);模型 ID tencent/Hy4-preview-FP8",
    "vLLM recipes 版本比 README 版本多环境变量 -e VLLM_ENABLE_HPC_OPS=1",
    "官方推荐采样参数 temperature=0.9、top_p=1.0;思考模式默认 high,直答传 reasoning_effort: no_think,模板仅接受 high/no_think",
    "KV cache 约 95KB/token 且按 TP rank 复制,实际可跑上下文受每卡剩余显存限制,官方 cookbook 示例普遍 131K–262K",
    "preview 版官方已知问题:复杂任务长思考与过度自我验证倾向",
    "昇腾 NPU 暂不支持(vllm-ascend issue #15292,feature request 阶段)"
  ],
  "faq": [
    {
      "q": "Hy4 preview 官方要求最低 8 张卡吗?",
      "a": "没有'最低 8 卡'的官方表述。官方两条示例命令均为 8 卡 TP 配置,SGLang cookbook 另验证过 4 张 B300 的 TP4 方案。"
    },
    {
      "q": "FP8 权重多大,磁盘要留多少?",
      "a": "FP8 参数约 770.3GB、仓库约 814GB;BF16 仓库约 1.56TB。预留明显大于仓库体积的磁盘空间。"
    },
    {
      "q": "H200 能跑 FP8 权重吗?",
      "a": "不能,MXFP8 内核要求 SM100+,H200 只能走 BF16 双节点(TP16)。"
    },
    {
      "q": "RTX 5090 或 RTX PRO 6000 Blackwell 能部署吗?",
      "a": "不建议,SM120 上有未修复的输出退化 issue(vLLM issue #54434)。"
    },
    {
      "q": "响应里一大段思考内容怎么关掉?",
      "a": "默认思考模式为 high,请求中传 reasoning_effort: no_think 可直答;模板只接受 high 和 no_think 两个值。"
    },
    {
      "q": "vLLM 和 SGLang 选哪个?",
      "a": "均为官方推荐路径,均有定制镜像;MTP 写法与解析器写法不同,按团队既有技术栈选。"
    },
    {
      "q": "昇腾 NPU 能部署吗?",
      "a": "暂不支持,vllm-ascend 中尚处 feature request 阶段。"
    },
    {
      "q": "模型支持 1M 上下文,能直接开满吗?",
      "a": "不能简单画等号,实际上下文受每卡剩余显存限制(KV cache 约 95KB/token 且按 TP rank 复制),官方示例普遍在 131K 至 262K 区间。"
    }
  ],
  "entities": [
    "腾讯混元 Hy4 preview",
    "vLLM",
    "SGLang",
    "Docker",
    "HuggingFace",
    "ModelScope",
    "tencent/Hy4-preview-FP8",
    "vllm/vllm-openai:hy4-preview",
    "lmsysorg/sglang:hy4-preview",
    "FLASHMLA_SPARSE",
    "MTP 投机解码",
    "B200",
    "B300",
    "H200",
    "SM120",
    "OpenAI 兼容 API"
  ],
  "meta": {
    "title": "腾讯混元 Hy4 preview 怎么部署?vLLM/SGLang Docker 完整教程与常见报错排查",
    "description": "Hy4 preview(770B MoE、Apache 2.0)自托管部署教程:8 卡硬件门槛核对、HuggingFace/ModelScope 权重下载、vLLM 与 SGLang 官方 Docker 启动命令逐参数解释、OpenAI 兼容 API 验证,以及五条有出处的常见报错排查。",
    "tags": [
      "Hy4 preview 部署教程",
      "混元 Hy4 vLLM 部署",
      "Hy4 preview 本地部署 硬件要求",
      "腾讯混元 Hy4 开源模型部署",
      "Hy4 SGLang 部署"
    ],
    "related_topics": [
      "大模型自托管推理部署",
      "OpenAI 兼容 API 调用",
      "多卡张量并行(TP)",
      "MoE 模型显存估算"
    ],
    "canonical_entities": [
      "腾讯混元 Hy4 preview",
      "vLLM",
      "SGLang"
    ]
  },
  "json_ld": {
    "@context": "https://schema.org",
    "@type": "HowTo",
    "name": "腾讯混元 Hy4 preview 部署教程(vLLM/SGLang Docker)",
    "description": "在 8 卡级 GPU 集群上用 vLLM 或 SGLang 官方 Docker 镜像部署腾讯混元 Hy4 preview(770B MoE、Apache 2.0)的完整流程,含硬件门槛核对与常见报错排查。",
    "totalTime": "PT0H",
    "supply": [
      {"@type": "HowToSupply", "name": "8 卡级 Blackwell 数据中心 GPU 集群(B200/B300 类)"},
      {"@type": "HowToSupply", "name": "Hy4 preview FP8 权重(仓库约 814GB,磁盘预留更大空间)"},
      {"@type": "HowToSupply", "name": "Docker 环境"}
    ],
    "tool": [
      {"@type": "HowToTool", "name": "vLLM 官方镜像 vllm/vllm-openai:hy4-preview"},
      {"@type": "HowToTool", "name": "SGLang 官方镜像 lmsysorg/sglang:hy4-preview"},
      {"@type": "HowToTool", "name": "huggingface-cli / modelscope CLI"}
    ],
    "step": [
      {"@type": "HowToStep", "name": "核对硬件门槛", "text": "确认集群为 8 卡级 Blackwell 数据中心 GPU(官方示例命令均为 8 卡 TP);H200 只能走 BF16 双节点,SM120 消费级/工作站卡暂不可部署。"},
      {"@type": "HowToStep", "name": "下载 FP8 权重", "text": "huggingface-cli download tencent/Hy4-preview-FP8 或 modelscope download --model Tencent-Hunyuan/Hy4-preview-FP8。"},
      {"@type": "HowToStep", "name": "启动 vLLM 或 SGLang 容器", "text": "按官方 README 的 Docker 命令启动:vLLM 用 vllm/vllm-openai:hy4-preview(TP8、MTP、FLASHMLA_SPARSE、hy_v4 parser),SGLang 用 lmsysorg/sglang:hy4-preview(tp-size 8、NEXTN 投机解码四参数、auto parser)。"},
      {"@type": "HowToStep", "name": "用 OpenAI 兼容 API 验证", "text": "向 http://127.0.0.1:8000/v1/chat/completions 发一次 chat completion(model=hy4-preview,temperature=0.9,top_p=1.0),正常返回即跑通;直答场景传 reasoning_effort: no_think。"},
      {"@type": "HowToStep", "name": "排查报错", "text": "对照五条实证条目(SM120 输出退化、H200 FP8 架构不匹配、上下文 OOM、长时负载不稳定时 --disable-cuda-graph、昇腾 NPU 暂不支持);清单外报错去 GitHub Issues 检索或提 issue。"}
    ]
  }
}

增强说明

一、正文调整

本阶段以人工改稿版(已通过终审)为基底做轻量搜索友好增强,所有命令、参数、事实表述与七模块结构未改动:

  1. 硬件卡型表化:将 SGLang cookbook 卡型方案从行文列举改为四行表格(GPU 型号 × FP8/BF16 路径 × 上下文参考),数据全部来自核验报告已锁定的 cookbook 内容,未新增任何数字;保留“SGLang 团队验证口径”与“vLLM recipes 口径不一致、并列不裁决”的原文表述。
  2. vLLM/SGLang 差异表化:将原三段差异描述(MTP 写法、解析器、镜像)压缩为一张三行对照表,内容与原文逐字对应,方便读者在两条路径间做选择时快速比对。
  3. 导语补定义:首句增加一句 Hy4 preview 的身份定义(770B MoE、1M 上下文、Apache 2.0、免申请下载),全部为已核验事实,服务“Hy4 preview 是什么”类搜索意图。
  4. FAQ 保持 8 条未动:口径与正文一致,未新增条目、未改写答案。
  5. 未做的事:未新增任何事实、价格、参数或结论;未加入网关工具推荐(上轮已删,维持删除);未改动收尾(停在 GitHub Issues 与官方文档入口);正文无 URL、无括号式来源标注、无“实测/亲测”。

二、FAQ 与关键事实

  • 关键事实清单收录 11 条,全部对应核验报告中“可直接写入正文”的条目,其中“约 770GB 聚合显存”保持社区估算身份(腾讯新闻出处、仅权重假设),未升级为官方要求。
  • FAQ 8 条与正文 FAQ 逐字一致,其中第 1 条(无最低 8 卡官方表述)与第 8 条(1M 上下文不等于能开满)是口径纪律最关键的两条,已在 answer_boundary 中显式声明。
  • 结构化 payload 的 short_answer 覆盖“硬件门槛 + 下载 + 启动 + 验证”四步闭环,answer_boundary 显式划出本文不覆盖的范围(评测跑分、租用价格、Hy3 命令、无实证报错条目),供下游引用时不会越界。
  • json_ld 采用 HowTo 类型,五个步骤与正文七模块链路对应,supply/tool 字段只使用已核验的镜像名、模型 ID 与 CLI 名称,totalTime 留空不虚构时长。

三、发布前仍需确认

  1. 逐字重对官方 GitHub README 与两张 HuggingFace 模型卡的当前命令、参数名、镜像 tag(preview 迭代快),对不上的以官方当前版本替换或删除。
  2. 确认不带后缀的 Docker tag :hy4-preview 当前可拉取;若已变更,以官方 README 当前写法为准并同步更新带后缀 tag 的补充说明。
  3. 复查 vLLM issue #54434(SM120 输出退化)与 vllm-ascend issue #15292(NPU 支持)状态:若 #54434 已修复,需更新硬件劝退部分与排查清单第 1 条的“暂勿部署”表述;若 NPU 支持已落地,更新第 5 条。
  4. 若 Hy4-preview 仓库自身 Issues 届时可访问且存在新的实证报错条目,先记入结构化资产再决定是否补充进排查清单,无实证不补。
  5. 与人工确认被截断的“全文禁止使用——”备注的具体指向;若指向“实测/亲测”类表述,本稿已合规。
  6. 发布前全文检索一次:无括号式来源标注、无 URL、无“实测/亲测”、无 GPU 价格、无 Hy3 命令、无升华收尾;“约 770GB 聚合显存”全文仅出现一次且带腾讯新闻出处与假设条件;vLLM recipes 与 SGLang cookbook 的 B200 双口径差异未被统一成单一结论。
  7. 篇幅核对:增强稿在 4000–5500 字区间内,表格化改动未引入注水内容。
继续探索

读完这篇,可以继续看