K2-Horizon-MoVA-36B-A4B-4bit初体验:36B参数只激活4B的Apple Silicon专属MoE大模型是什么?
K2-Horizon-MoVA-36B-A4B-4bit初体验:36B参数只激活4B的Apple Silicon专属MoE大模型是什么?
K2-Horizon-MoVA-36B-A4B-4bit 是 IFM 的稀疏 MoE 大模型 K2-Horizon 的 MLX 4-bit 量化版本,专为 Apple Silicon(M 系列芯片 Mac)设计:总参数约 36B,但每个 token 只激活约 4B 参数,512K 上下文,25 GB 落盘、峰值内存 26.5 GB,一台 48 GB 的 Mac 就能流畅跑起来。这篇文章带你完整了解它的架构亮点、部署方法和实测性能,帮助新手快速上手这台"Mac 本地推理神器"。
一、它是什么?一图看懂核心参数
K2-Horizon 是 IFM 推出的稀疏模型:名字里的 36B 是总参数量,A4B(Active 4B)指的是每个 token 实际参与计算的参数只有 4B。这种"大模型容量、小模型开销"的思路,正是 MoE(Mixture-of-Experts,混合专家)架构的典型玩法——用更多参数换知识容量,用稀疏激活换推理速度。
这个仓库(README.md)是它的 MLX 4-bit 混合精度量化版,关键数据:
| 指标 | 数值 |
|---|---|
| 总参数 | 约 37.4B(model.safetensors.index.json) |
| 每 token 激活参数 | 约 4B |
| 有效位宽 | 5.6 bits/weight |
| 磁盘占用 | 25 GB(5 个分片 safetensors) |
| 峰值内存 | 26.5 GB(短 prompt) |
| 上下文长度 | 512K(config.json 中 max_position_embeddings: 524288) |
| 实测生成速度 | 59.6 tok/s(Mac Studio M4 Max 128GB) |
💡 换算一下:37.4B 参数在 bf16 下需要 70+ GB,4-bit 量化后压缩到 25 GB,普通消费级 Mac 就能本地推理。
二、架构亮点:MoE + MoVA 双稀疏结构
这个模型最有意思的地方,是它在传统的 MoE 之外还加了一层 MoVA(Mixture-of-Values,值混合)注意力:注意力里的 value 不再由单一的 v_proj 产生,而是从 64 个 value 专家中按 token 路由选 4 个再混合输出。
从 k2_horizon.py 的实现和 config.json 的配置可以看到这套双稀疏结构:
| 组件 | 配置 | 说明 |
|---|---|---|
| MoE 专家路由 | num_experts: 100,num_experts_per_tok: 8 |
每 token 从 100 个专家中激活 8 个 + 1 个共享专家 |
| MoVA 值专家 | mova_num_experts: 64,mova_num_experts_per_tok: 4 |
每 token 选 4 个 value 专家混合 |
| 层数 | 48 层(第 0–2 层为纯 MLP 密集层) | 见 mlp_only_layers |
| 隐层维度 | 2560,32 个注意力头,8 个 KV 头(GQA) | — |
| 路由精度 | MoE/MoVA 路由器保持 bf16 不量化 | 保证路由决策精度 |
MoVA 的计算核心就在 k2_horizon.py 这几行:先由路由器给每个 token 选出 value 专家,再加权混合它们的输出作为注意力的 values。KV 缓存方式与普通注意力一致,无需特殊处理。
量化是怎么做的?
4-bit 版并非"一刀切",而是按测量结果做混合精度(详见 README.md):
- 4-bit(group size 64):占参数大头的路由 MoE 专家和共享专家
- 8-bit(group size 64):注意力(含 MoVA value 专家)、前 3 层密集 MLP、embeddings 和 lm_head
- bf16:MoE 和 MoVA 的路由器
作者实测三种方案在 WikiText-2 上的困惑度:全 4-bit 恶化 +4.5%,只把 MoVA value 专家保 8-bit 只有 +4.4%,而这种"非专家权重全保 8-bit"的方案仅 +1.2%——多花约 5 GB 内存,换来几乎无感的精度损失。
三、如何在 Mac 上部署运行(最快配置方法)
⚠️ 注意:mlx-lm 官方尚未内置
k2_horizon架构,所以这个仓库自带 MLX 模型代码(k2_horizon.py),通过 config.json 的model_file字段加载,最新版 mlx-lm 可直接运行。
硬件门槛:峰值 26.5 GB 内存,48 GB 的 Mac 在默认 Metal 限制下即可运行;36 GB 的 Mac 需要用 sudo sysctl iogpu.wired_limit_mb=... 调高上限。
三步跑起来:
pip install -U mlx-lm
mlx_lm.generate --model mlx-community/K2-Horizon-MoVA-36B-A4B-4bit --trust-remote-code --prompt "Explain mixture-of-experts in two sentences." --max-tokens 2048
- 安装(或升级)mlx-lm
- 执行上面的生成命令,记得带
--trust-remote-code(新版 mlx-lm 必需) - 也可以用
mlx_lm.chat多轮对话,或mlx_lm.server起本地服务,用法完全一样
由于模型推理代码会在你本机运行,作者建议运行前花一分钟阅读 k2_horizon.py。转换后也做了严格校验:MLX 实现与 IFM 原版 PyTorch 代码在 fp32 下逐层对比,全部 48 层相对误差小于 1e-6,逐位置 next-token 预测一致。
四、性能实测:量化档位怎么选
官方给出了三个档位在同一台 M4 Max 128GB Mac 上的完整对比:
| 档位 | 位宽 | 磁盘 | 峰值内存 | WikiText-2 困惑度 | 生成速度 |
|---|---|---|---|---|---|
| bf16 | 16 bits | 70 GB | 75.0 GB | 11.368 | 35.3 tok/s |
| 8-bit | 8.5 bits | 37 GB | 39.9 GB | 11.372(+0.04%) | 51.2 tok/s |
| 4-bit(本仓库) | 5.6 bits | 25 GB | 26.5 GB | 11.508(+1.2%) | 59.6 tok/s |
📌 结论很直白:4-bit 版速度比 bf16 快约 70%,精度只损失 1.2% 的困惑度。另外注意 KV cache 约 192 KB/token(128K token 约 24 GB),长上下文场景请预留内存。
五、思考模式:<ifm|think> 与 reasoning_effort
K2-Horizon 是推理模型:回答前会先"想一想",思考内容包裹在 <ifm|think> … </ifm|think> 标签里。两个实用细节:
- 预留
max_tokens:思考会消耗输出 token 额度,生成长答案时别设太小 - 调节思考力度:通过 chat_template.jinja 中的
reasoning_effort参数控制——"high"(默认)/"medium"/"low"三档,简单问题可以用低档省 token
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, reasoning_effort="low")
另外两个已知小坑(README 已说明):mlx-lm 目前还没识别 <ifm|think> 标签,mlx_lm.server 会把思考文本直接放在 content 里;工具调用格式也尚未被解析。
六、仓库文件速览
| 文件 | 作用 |
|---|---|
| README.md | 模型卡:量化方法、内存、基准、用法 |
| k2_horizon.py | 模型 MLX 实现(注意力 + MoVA + MoE) |
| config.json | 架构参数与逐层量化配置 |
| chat_template.jinja | 对话模板(含 thinking 标签与 effort 档位) |
| generation_config.json | 生成参数(BOS/EOS token) |
| tokenizer.json、tokenizer_config.json | 分词器配置 |
| model.safetensors.index.json | 权重索引(总参数量 37,444,792,020) |
七、它适合谁?
- ✅ M 系列芯片 Mac 用户:48 GB 内存即可本地跑 36B 级 MoE 模型,无需任何云服务
- ✅ 长上下文需求者:原生 512K 上下文,配合 MoE 稀疏激活,长文本推理成本可控
- ✅ 推理模型爱好者:可调节思考力度,支持数学/逻辑类任务的深度推理(冒烟测试中
17 * 23能给出正确推理过程) - ⚠️ 需要留意:mlx-lm 官方原生支持
k2_horizon架构前,必须使用--trust-remote-code加载仓库自带代码
一句话总结:K2-Horizon-MoVA-36B-A4B-4bit 是目前 Apple Silicon 上体验 36B 级稀疏 MoE + 推理模型的"最低门槛"方案——25 GB 下载、26.5 GB 峰值内存、59.6 tok/s 的生成速度,精度损失几乎可以忽略。