一台Mac跑不动的397B MoE?vMLX Smelt模式部分专家加载让内存直降68%
一台Mac跑不动的397B MoE?vMLX Smelt模式部分专家加载让内存直降68%
🚀 如果你有一台内存有限的 Mac,却又想跑起 397B 级别的 MoE 大模型,vMLX 的 Smelt 模式(部分专家加载)值得一试。它只把模型主干和每层一小部分专家权重放入内存,其余留在 SSD 上,配合路由偏置让输出保持连贯,官方基准显示内存占用最高可直降 68%,同时保留 OpenAI 兼容 API、连续批处理和分页缓存等完整服务能力。
为什么 MoE 模型特别"吃内存"?
MoE(Mixture of Experts,混合专家)模型的参数量主要来自各层的大量专家网络(experts)。以 397B 参数量的 MoE 模型为例,即使量化后权重也动辄数百 GB,远超单台 Mac 的统一内存。
但 MoE 有个特性:每个 token 实际只激活少数几个专家。这意味着大部分专家权重在任意时刻都"闲置"在内存里。vMLX 的 Smelt 模式正是抓住这一点:
💡 核心思路(源自 Anemll 的 flash-moe 引擎的启发):与其让全部专家常驻内存,不如只驻留一部分,让路由"偏爱"已加载的专家,代价是吞吐随加载比例下降。
vMLX 的实现路径是 Python/MLX:启动时一次性加载固定比例的专家(而非逐 token 按需流式读取),因此能无缝接入 vMLX 的完整服务器栈。
Smelt 模式的工作原理(三大组件)
Smelt 的实现集中在 smelt_loader.py,包含两个关键组件:
1️⃣ ExpertIndex —— 零内存扫描专家位置
ExpertIndex 只读取 safetensors 文件的文件头(前几个字节),就能把每个专家权重在磁盘上的位置(文件路径、字节偏移、形状、dtype)全部映射出来,不加载任何权重数据。它兼容 Nemotron、Qwen 3.5、Mistral 4、MiniMax M2.5、Gemma 4 等六大模型家族的专家键名规范(见 smelt_loader.py 的模块说明)。
2️⃣ TurboRouteWrapper —— 缓存偏置路由
TurboRouteWrapper 包裹原有 MoE 块,在路由分数上注入 cache_bias:未加载的专家拿到 −1000 的偏置分,加载的专家拿 0,使 top-k 选择强烈偏向已驻留内存的专家。专家计算本身委托给原生编译的 SwitchGLU/SwitchMLP 内核,没有额外 matmul 开销,因此速度惩罚主要来自 SSD 上的专家换入换出,而非计算。
该包装器支持三种路由风格(softmax / sigmoid / pre_routed),分别适配 Qwen 3.5、Mistral 4、Gemma 4、MiniMax M2.5、GLM-5 和 Nemotron 等家族。
3️⃣ 主干常驻 + 按需换入
启动时,Smelt 把全部非专家权重(backbone)常驻内存,再按 --smelt-experts 指定的百分比从 SSD 加载每层专家的一个固定子集。推理期间未被选中的专家按需从磁盘换入。
官方基准:内存直降 68%,输出依然连贯
以下是 README.md 中在 Apple M3 Ultra / 128 GB 专用机上对 Nemotron-Cascade-2-30B-A3B-JANG_4M(23 个 MoE 层 × 128 专家)的实测数据:
--smelt-experts |
实际占用内存 | 解码速度 tok/s | 内存节省 | 输出连贯 |
|---|---|---|---|---|
| 关闭(基线) | 17,408 MB | 89.9 | — | ✅ |
50(默认) |
9,529 MB | 66.5 | −45% | ✅ |
25(激进) |
5,590 MB | * | −68% | ✅ |
* 25% 时响应过短,无法可靠测量稳态 tok/s,但主观上响应正常。
三种配置均产生连贯、不循环的输出——路由偏置机制保证了模型"不跑题"。
三步上手:让大 MoE 跑进你的 Mac
第一步:安装 vMLX
# 推荐用 uv 安装,一条命令搞定
brew install uv
uv tool install vmlx
第二步:把模型转换为 JANG 格式 ⚠️
Smelt 只支持 JANG 量化格式的 MoE 模型——这是硬性前提。使用 JANG 自适应混合精度(注意力和嵌入保留更多位数、MLP 压缩更狠)可把模型体积压到最小,为"省内存"再贡献一份力量:
# JANG_3M 是官方推荐档位(注意力 8-bit / 嵌入 3-bit / MLP 3-bit,均值约 3.2 bit)
vmlx convert my-moe-model --jang-profile JANG_3M
第三步:一条命令开启 Smelt 服务
# 默认加载每层 50% 的专家(内存 −45%,速度 −26%)
vmlx serve ./MyMoE-JANG_4M --smelt --smelt-experts 50
# 激进档:只加载 25%,内存再省一半(速度最慢)
vmlx serve ./MyMoE-JANG_4M --smelt --smelt-experts 25
--smelt-experts 取值范围 10–100(默认为 50),定义见 cli.py。数字越低内存越少,但路由偏置越强、SSD 换入越频繁。
怎么选?Smelt 与 Flash MoE 的取舍
vMLX 提供两种"专家放 SSD"的方案,二者互斥(同时开启会报错):
| 方案 | 机制 | 适合场景 |
|---|---|---|
--smelt |
启动时固定加载 N% 专家,路由偏置指向已加载专家 | 内存中等紧张、追求输出稳定连贯 |
--flash-moe |
按需从 SSD 流式读取全部专家,用 slot-bank LRU 缓存(见 flash_moe_loader.py 与 flash_moe_config.py) | 内存极度紧张、模型大到 397B 级别 |
Flash MoE 的默认 slot-bank 为 256 个专家权重集,还支持 temporal 预取和并行 I/O 拆分(见 cli.py),是 397B 级模型的主力方案;Smelt 则胜在启动即用、行为可预测、与持续批处理/分页缓存的兼容性最好。
另外,面板 GUI 也内置了 Smelt 开关:在服务器设置中打开"Smelt 模式"并拖动"Smelt 专家 %"滑块即可,提示文案为"以速度换取 45-68% 的内存节省"(见 SessionConfigForm.tsx)。
⚠️ 使用注意事项
- 仅限 MoE + JANG:稠密模型没有专家可部分加载,非 JANG 格式(如标准 MLX 4-bit)不兼容。
- 与视觉模式互斥:Smelt 会自动关闭
--is-mllm(并给出警告),因为视觉塔未接入部分专家加载器——对 Smelt 加载的 VLM 输入图片会产生错误结果。请用纯文本模型。 - 与分布式模式互斥:
--distributed和--smelt不能同时使用。 - 权衡要心里有数:吞吐与加载的专家百分比成反比,25% 档下长文本生成会明显变慢,适合体验、短对话、内存瓶颈场景;生产环境建议 50% 起测。
- 若使用 DSV4-Flash 模型,Smelt 会被自动忽略(该模型走原生 JANG 仿射加载器与复合缓存路径)。
参考文件
- 核心实现:vmlx_engine/utils/smelt_loader.py
- SSD 流式备选:vmlx_engine/utils/flash_moe_loader.py、vmlx_engine/flash_moe_config.py
- CLI 参数与互斥校验:vmlx_engine/cli.py
- 官方基准与说明:README.md
- 行为测试:tests/test_smelt_loader.py、tests/test_flash_moe_loader.py
小结
vMLX 的 Smelt 模式用"主干常驻 + 部分专家 + 路由偏置"这套组合拳,把 MoE 大模型的内存门槛砍掉 45%–68%,且输出质量经基准验证依然连贯。如果你的 Mac 内存装不下目标模型,不妨先装 50% 专家试跑,再逐步降到 25% 找自己的内存/速度平衡点;而面对 397B 级别的巨无霸,则建议搭配 --flash-moe 按需流式加载,让一台 Mac 真正"跑动"过去只有服务器才能承载的大模型。

