返回行业动态

Reflection发布开源大模型Beam:501B参数MoE架构,支持100万token上下文

2026/10/16 13:04
查看原文

OmniTools 10月16日消息,美国AI实验室Reflection在Hugging Face平台正式发布开源大语言模型Beam。该模型为混合专家(MoE)架构,总参数量501B,每token激活23B参数,共52层、每层256个专家、每token路由8个专家,采用Apache 2.0许可证。

Beam专为长上下文推理与智能体(agentic)任务设计,原生支持100万token上下文长度,配备滑动窗口+全局注意力混合机制,并内置Rust编写的高性能推理框架。模型提供BF16、FP8及NVFP4三种权重格式,其中NVFP4版本体积约280GB,适配NVIDIA Blackwell架构GPU。

技术层面,Beam支持结构化响应解析(含reasoning、answer、tool call字段分离)、可调推理强度(low至max五档)、工具调用语法内建及speculative decoding加速。官方同步开放SFT、RL(基于Miles框架)及LoRA微调方案,并兼容transformers、vLLM与SGLang等主流推理库。

相关背景

想继续了解,可以看这些

从这条动态出发,继续查看相关分析、产品详情和同主题更新。

最新工具

刚收录的 AI 工具,适合顺手发现可用产品。

查看全部