腾讯发布稀疏MoE大模型Hy3:295B参数、21B激活,支持256K上下文
腾讯Hy团队正式发布稀疏混合专家(MoE)大模型Hy3。该模型总参数量达2950亿,单次推理激活参数为210亿,采用192专家与top 8路由架构,上下文长度支持至256K。 Hy3引入多token预测层(MTP),兼容vLLM与SGLang的推测解码以加速推理,并提供FP8量化版本。在多项基准测试中表现突出:SWE Bench Verified得分为78.0,GPQA Diamond达90.4,USAMO 2026为72.0,IMOAnsw...