10 倍加速秘诀:SwiftLM SSD Expert Streaming 让 64GB Mac 跑 397B MoE 模型
10 倍加速秘诀:SwiftLM SSD Expert Streaming 让 64GB Mac 跑 397B MoE 模型
SwiftLM 是一款运行在 Apple Silicon 上的原生 Swift 大模型推理服务器,提供 OpenAI 兼容 API。它的 SSD Expert Streaming(SSD 专家流式加载) 功能把 NVMe SSD 当作"外置显存",让 64GB 统一内存的 Mac 直接跑起 209GB 的 Qwen3.5-397B MoE 模型,生成速度比旧实现提升约 10 倍,常驻内存仅需 ~10GB。
为什么 64GB Mac 跑不动 209GB 的 MoE 大模型?
传统思路是:模型必须全部装进统一内存。Qwen3.5-397B-A22B 的 4-bit 权重约 209 GB,64GB Mac 根本放不下;就算勉强加载,macOS 的 swap 也会把 NVMe 带宽耗光,生成速度跌到 1 tok/s 以下。
MoE(Mixture of Experts,混合专家)架构其实给了一个突破口:每个 token 只激活一小部分"专家",其余权重当前这一步完全用不上。SwiftLM 的 SSD Expert Streaming 正是利用这一点——常驻内存只保留注意力层与路由信息,专家权重按需从 NVMe SSD 流式读取、用完即弃。
结果:
- ✅ Qwen3.5-122B-A10B(69.6 GB)与 Qwen3.5-397B-A22B(209 GB)都能在 64GB Mac 上推理
- 💾 常驻内存稳定在 ~10.6 GB,无 swap 抖动
- 🚀 生成速度从旧实现的 0.58 tok/s 提升到 5.91 tok/s,约 10 倍
⚡️ SSD Expert Streaming 的 5 个关键优化
10 倍加速不是白来的,来自 5 项工程优化(架构细节见 docs/moe_ssd_streaming_architecture.md):
- 跨投影批处理(Cross-Projection Batching):把每个专家约 1,400 次 GPU 调用合并为每 token 约 48 次,GPU 排队开销骤降。
- 并发 NVMe pread(队列深度 QD=24):8 个专家 × 3 个投影矩阵 = 24 路并行磁盘读取,打满 NVMe 控制器的队列深度。
- 异步评估 + 预测式预读:用上一 token 的路由结果提前预读下一 token 可能用到的专家,命中率约 70%;未命中的 30% 再按需读取,GPU 计算与 SSD I/O 完全重叠。
- 持久化 Metal 缓冲区:专家权重缓冲区按层分配一次、跨 token 复用,消除每 token 的内存分配开销。
- 运行时 top-k 专家选择:通过环境变量
SWIFTLM_TOP_K随时增减激活专家数量,无需重新编译模型,在质量与速度之间自由权衡。
📊 实测数据:M1 Ultra 64GB + Qwen3.5-122B-A10B-4bit
| 配置 | 速度 (tok/s) | 相对旧实现 | 说明 |
|---|---|---|---|
旧版 --stream-experts |
0.58 | 基线 | 顺序 pread,单磁盘队列 |
| top-k=8(完整质量) | 4.95 | 8.5× | 8 个专家全部参与 |
| top-k=6(默认推荐) | 5.20 | 9.0× | 质量与速度的平衡点 |
| top-k=4(速度模式) | 5.91 | 10.2× | 最佳速度/质量权衡 |
| top-k=2(极速模式) | 6.52 | 11.2× | 输出依然连贯 |
📈 内存稳定在 ~10.6 GB 常驻、无 swap 活动;测试脚本为 scripts/profiling/m6_bench.py,原始性能数据见 docs/profiling/m6/。
🚀 快速上手:一条命令启动超大 MoE 模型
第一步,下载 Release 预编译包(自带 mlx.metallib,解压即用,无需 Python 环境):
tar -xzf SwiftLM-<version>-macos-arm64.tar.gz
第二步,带上 --stream-experts 参数启动服务,并用 SWIFTLM_TOP_K 控制速度档位:
SWIFTLM_TOP_K=6 SwiftLM --port 8002 \
--model <path>/Qwen3.5-122B-A10B-4bit --stream-experts
第三步,任意 OpenAI SDK 把 base URL 指向 http://localhost:8002/v1 即可,标准 /v1/chat/completions 请求零改动接入。
新手避坑提示 ⚠️:
--stream-experts只对 MoE 模型生效。加载时引擎会自动探测模型结构(Sources/SwiftLM/ModelProfiler.swift),dense 模型会忽略该参数并打印警告,不会报错。- 流式模式一次只处理一个请求(Sources/SwiftLM/Server.swift)。
- 模型文件损坏或截断时,错误会被优雅捕获并提示"重新下载模型",而不是直接崩溃(Sources/MLXInferenceCore/SSDStreamingRecovery.swift)。
- 想冲最高吞吐就只开
--stream-experts,不要叠加--draft-model:验证通路的 SSD I/O 扇出会反噬速度(详见 README 的 performance note)。
🔗 进阶组合:TurboQuant 压缩与投机解码
- TurboQuant KV 压缩(
--turbo-kv):以约 3.6 bit/坐标压缩 KV 缓存,相比 FP16 节省约 3.5 倍显存,长上下文精度损失极小。在 SSD 流式场景下尤其关键——KV 变小说明每 token 需要额外读取的内容更少:实测 126GB 的 DeepSeek-V4-Flash 上,SSD + TurboQuant 比纯 SSD 快 13 倍。算法细节见 docs/turboquant_hybrid_architecture.md。 - 双模型投机解码:一个小的 draft 模型(如 Qwen3.5-9B,73 tok/s)完全驻留内存高速生成候选 token,大模型批量验证,从而减少 SSD 往返轮次。与
--stream-experts同时启用时,SwiftLM 会自动把--num-draft-tokens压到 1,把 I/O 扇出控制在可接受的 2× 以内。
✅ 总结
| 你关心的 | SwiftLM 的答案 |
|---|---|
| 64GB Mac 能跑多大模型? | 209 GB 的 Qwen3.5-397B-A22B |
| 要占多少内存? | ~10.6 GB 常驻,无 swap |
| 速度提升多少? | 10 倍(0.58 → 5.91 tok/s) |
| 如何接入现有应用? | 标准 OpenAI 兼容 API,零改动 |
| 想深入原理看哪里? | docs/moe_ssd_streaming_architecture.md、Sources/MLXInferenceCore/InferenceEngine.swift |
对于内存有限的 Apple Silicon 用户,SSD Expert Streaming 让"本地跑前沿 MoE 大模型"第一次变得真正可行——不必升级硬件,只需把 SSD 用对地方。


