OmniTools 10月30日消息,vLLM 团队宣布,已对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持。该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 模型。
据 vLLM 博客介绍,Mistral Large 4 采用 MLA 稀疏注意力加 DSA top-k 索引器、跨层 KV 共享、NoPE、SSMax 和 LeRoPE 等新架构,并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。
OmniTools 10月30日消息,vLLM 团队宣布,已对 Mistral 新旗舰模型 Mistral Large 4 提供 Day 0 支持。该模型为 1T 参数、每 token 激活 49B 的原生多模态 MoE 模型。
据 vLLM 博客介绍,Mistral Large 4 采用 MLA 稀疏注意力加 DSA top-k 索引器、跨层 KV 共享、NoPE、SSMax 和 LeRoPE 等新架构,并内置 DSpark 推测解码草稿器与 Pixtral 视觉编码器。
从这条动态出发,继续查看相关分析、产品详情和同主题更新。
刚收录的 AI 工具,适合顺手发现可用产品。