OmniTools 10月25日消息,Cerebras 发布的一篇技术文章介绍了在 Cerebras 平台上部署万亿参数级前沿模型的方案:将大型模型拆分到多块 WSE-3T 晶圆上,可以 1000-2000+ tokens/s 的速度运行数万亿参数模型。
文章以约 3 万亿参数的开源模型 Kimi K3 为例,计算得出该模型需要 59 块晶圆。文中还说明了整套部署方式涉及的流水线执行机制,即跨晶圆仅传输激活值;同时指出 KV 缓存会限制并发请求数。
上述内容根据文章摘录整理,具体技术细节和测试条件需以原文为准。