百度发布 ERNIE-5.5-Flash-Base：280B 总参数稀疏 MoE 基座模型

OmniTools 11月6日消息，百度发布 ERNIE-5.5-Flash-Base 基座模型。该模型为稀疏混合专家（MoE）语言模型，总参数 280B，每个 token 激活 14B 参数；从零开始预训练，使用 33.5T tokens，训练上下文最高 128K，并支持 1M token 上下文用于微调与推理。此次发布的是预训练结束时的检查点，尚未经过中期或后训练，可作为领域适配、指令微调和强化学习研究的共同起点。

模型共 43 层 Transformer，隐藏维度 4096，64 个注意力头。注意力采用 MLA 与 HCA 混合方案：每七层中仅一层使用多头潜在注意力（MLA）保留对完整上下文的 token 级访问，其余层使用高压缩注意力（HCA），将每 128 个 token 压缩为一个缓存条目，再结合近期未压缩 token 的短窗口进行注意力计算。两类层的头维度也不同：HCA 层使用 512 维头，MLA 层使用 256 维头，以把 KV 缓存预算集中在 MLA 层。

MLA 层还采用稀疏注意力（DSA），由轻量索引器为每个查询对历史位置打分，仅对得分最高的 top-k 位置计算核心注意力，使单查询成本随上下文增长保持恒定。MoE 层使用多个独立初始化的 sigmoid 路由器组成 Multi-Router，联合为专家打分，替代单一路由器加硬 top-k 的选择方式。