OmniTools 7月14日消息,腾讯混元团队为旗舰模型 Hy3(295B 参数)推出量化版本。其中 1bit 版本(IQ1_M)将权重从 598 GB 压缩至 85.5 GiB,体积缩小约 6.7 倍,单张 96GB 显存 GPU 即可完成推理部署;4bit 版本(Q4_K_M)体积为 169.9 GiB,需两张显卡承载。
量化版本在 Agent、多语言代码、工具调用及长文本理解等任务中表现接近原始模型。团队同步提供 GPTQ Int4 版本,支持 vLLM 部署,并配合 MTP 投机解码技术,使 1bit 版本解码速度提升约 50%,4bit 版本提升近 60%。
所有量化版本均已开源,统一打包为 GGUF 格式,适配 llama.cpp 生态。