OmniTools 8月4日消息,开源运行时 Swiftlet 基于 Swift 与 Metal 构建,支持在普通 Apple 设备上本地运行 Qwen3-Next 及 Qwen3.5/3.6 MoE 混合模型。该方案仅将小型稠密核心常驻内存(Mac 端约 4.3 GB),其余专家权重按需从存储流式加载。
实测显示,Mac 设备可运行参数量达 80B 的 Qwen 模型,iPhone 则可运行 35B 版本。项目聚焦轻量化部署,无需额外硬件加速器。
Swiftlet 当前为开源实现,适用于 macOS 与 iOS 平台。