微软AI公布MAI-Base-2预训练细节：2.8万亿参数MoE模型，FLOPs效率达DeepSeek-V4-Pro-Base的4.2至12.3倍

OmniTools 10月16日消息，微软AI官方宣布完成MAI-Base-2基础模型预训练。该模型采用MoE（混合专家）架构，总参数量达2.8万亿，单步激活参数约800亿。

在保留集（held-out）评测中，其每字节比特数（BPB）低于所有参与对比的开源权重模型。预训练阶段的FLOPs（浮点运算次数）效率较DeepSeek-V4-Pro-Base提升4.2至12.3倍。

目前相关技术细节已在微软AI官网公开，官方暂未披露具体训练数据规模、硬件集群配置及推理延迟等指标。