返回行业动态

Mistral Large 4 上线 Hugging Face:约1T参数、49B激活的多模态MoE模型

2026/10/29 14:18
查看原文

OmniTools 10月29日消息,据 Hugging Face 博客文章,Mistral 推出多模态、多语言 MoE 模型 Mistral Large 4(又称 Le Chonk)。该模型支持文本和图像输入并生成文本,约 1T 总参数、49B 激活参数,上下文窗口为 1M tokens。官方提供 FP8 和 NVFP4 两个版本,另有 Unsloth 及 llama.cpp 团队制作的 GGUF 量化版本,采用 Mistral Ecosystem Open-Weight License(MIT 衍生许可,对模型即服务用途设限)。

架构方面,Mistral Large 4 结合大量专家、稀疏注意力和 1.6B 参数的 Pixtral 视觉编码器。其文本解码器为 72 层、隐藏维度 6144、64 个注意力头,采用 MLA 与 DSA 索引器;每个 token 从 128 个专家中选择 4 个,另有一个共享专家。官方称该模型重点面向网络安全、编码智能体和多模态场景。

基准结果显示,其在 Artificial Analysis Cyber Index 的漏洞复现与修补测试中得分 82%,在 Cybench 的 40 项安全竞赛挑战中解决 93%,Lakera B3 攻击抵抗得分为 93.3%。编码方面,DeepSWE v1.1 为 61.7%,SWE-Atlas-QnA 为 59.4%,Terminal-Bench 4 为 28.3%,Coding Agent Index 综合得分为 49.8%。截至 2026 年 10 月 29 日,该模型在 Artificial Analysis Intelligence index 的开源权重模型中排名第五。

推理支持上,模型发布即支持 transformers、vLLM 和 llama.cpp,并提供 Inference Endpoints 与 Inference Providers 部署选项。Transformers 实现提供 AutoModelForMultimodalLM 和 AutoProcessor,可设置 low、medium、high 推理强度,默认 high 且不可关闭。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部