返回行业动态

MiniMax 发布开源大模型 M3,支持 100 万 token 上下文与 MSA 稀疏注意力

2026/06/13 02:56
查看原文

OmniTools 6月13日消息,MiniMax 正式发布全新开源大模型 M3。该模型支持 100 万 token 上下文窗口,具备前沿编码能力、智能体功能、原生图像与视频输入、Computer Use 等特性。

M3 采用新型 MSA(Multi-Scale Attention)稀疏注意力架构:每个 query 仅对 128-token 的 KV 块进行打分,并只保留 top 块参与计算,显著降低长上下文推理开销,提升实际部署可行性。

该模型已获 vLLM Day-0 支持,并完成 NVIDIA(Hopper/Blackwell 架构)与 AMD 硬件验证,支持 MSA 专用 prefill/decode kernel、prefix caching 与 chunked prefill 优化、BF16/MXFP8 检查点,以及工具调用、推理解析和思考模式控制等能力。