Swiftlet 实现 Apple 设备本地运行 Qwen 大模型

OmniTools 8月4日消息，开源运行时 Swiftlet 基于 Swift 与 Metal 构建，支持在普通 Apple 设备上本地运行 Qwen3-Next 及 Qwen3.5/3.6 MoE 混合模型。该方案仅将小型稠密核心常驻内存（Mac 端约 4.3 GB），其余专家权重按需从存储流式加载。

实测显示，Mac 设备可运行参数量达 80B 的 Qwen 模型，iPhone 则可运行 35B 版本。项目聚焦轻量化部署，无需额外硬件加速器。

Swiftlet 当前为开源实现，适用于 macOS 与 iOS 平台。