OTRouterClaude、GPT 一个 Key 调用看价格 →
产品与应用官方发布 · huggingface.co

Hugging Face 博客展示在 32 GB Mac 上以 Transformers 流式运行 180B MoE 模型

OmniTools 11月19日消息,Hugging Face 博客 11 月 18 日发布 Tarek Ziadé 的试验,展示如何借助 Transformers 的专家流式加载,在 32 GB 统一内存的 MacBook M5 上运行 Qwen3.8-Flash-Next。该 MoE 模型有 180B 参数、48 层、每层 512 个专家、每个 token 激活 10 个专家,FP8 下专家权重约 121 GB。

试验通过 Transformers PR #50717 引入 experts_offload,将专家映射到磁盘并按需流式读取,使用 12 GiB 设备缓存;专家离线量化为 3 bit 后约 49 GB,dense 层以 8 bit 加载约 5.4 GB,51 GB 的 n-gram 表保留在磁盘。转换耗时约 5 小时,加载后占用约 18 GiB,6K prompt 峰值 25.4 GiB。

最终在同一台 M5 上与 Strata 对比:200 token 解码为 13.9 tok/s 对 14.8 tok/s,4K prompt 预填充为 228 tok/s 对 220 tok/s,6K 文档后解码为 12.4 tok/s 对 13.7 tok/s。作者称短解码差距约 6%,大部分剩余开销来自每个 token 约 10 ms 的主机往返。相关代码和结果放在 tarekziade/moe-expert-streaming Space 中。

文中提到的模型

返回快讯