K2-Horizon-MoVA-36B-A4B-4bit初体验:36B参数只激活4B的Apple Silicon专属MoE大模型是什么?

原创2026-10-17 19:06:153,073 阅读
文章标签:人工智能大模型模型量化本地部署

K2-Horizon-MoVA-36B-A4B-4bit初体验:36B参数只激活4B的Apple Silicon专属MoE大模型是什么?

K2-Horizon-MoVA-36B-A4B-4bit 是 IFM 的稀疏 MoE 大模型 K2-Horizon 的 MLX 4-bit 量化版本,专为 Apple Silicon(M 系列芯片 Mac)设计:总参数约 36B,但每个 token 只激活约 4B 参数,512K 上下文,25 GB 落盘、峰值内存 26.5 GB,一台 48 GB 的 Mac 就能流畅跑起来。这篇文章带你完整了解它的架构亮点、部署方法和实测性能,帮助新手快速上手这台"Mac 本地推理神器"。

一、它是什么?一图看懂核心参数

K2-Horizon 是 IFM 推出的稀疏模型:名字里的 36B 是总参数量,A4B(Active 4B)指的是每个 token 实际参与计算的参数只有 4B。这种"大模型容量、小模型开销"的思路,正是 MoE(Mixture-of-Experts,混合专家)架构的典型玩法——用更多参数换知识容量,用稀疏激活换推理速度。

这个仓库(README.md)是它的 MLX 4-bit 混合精度量化版,关键数据:

指标 数值
总参数 约 37.4B(model.safetensors.index.json)
每 token 激活参数 约 4B
有效位宽 5.6 bits/weight
磁盘占用 25 GB(5 个分片 safetensors)
峰值内存 26.5 GB(短 prompt)
上下文长度 512K(config.json 中 max_position_embeddings: 524288)
实测生成速度 59.6 tok/s(Mac Studio M4 Max 128GB)

💡 换算一下:37.4B 参数在 bf16 下需要 70+ GB,4-bit 量化后压缩到 25 GB,普通消费级 Mac 就能本地推理。

二、架构亮点:MoE + MoVA 双稀疏结构

这个模型最有意思的地方,是它在传统的 MoE 之外还加了一层 MoVA(Mixture-of-Values,值混合)注意力:注意力里的 value 不再由单一的 v_proj 产生,而是从 64 个 value 专家中按 token 路由选 4 个再混合输出。

从 k2_horizon.py 的实现和 config.json 的配置可以看到这套双稀疏结构:

组件 配置 说明
MoE 专家路由 num_experts: 100,num_experts_per_tok: 8 每 token 从 100 个专家中激活 8 个 + 1 个共享专家
MoVA 值专家 mova_num_experts: 64,mova_num_experts_per_tok: 4 每 token 选 4 个 value 专家混合
层数 48 层(第 0–2 层为纯 MLP 密集层) 见 mlp_only_layers
隐层维度 2560,32 个注意力头,8 个 KV 头(GQA) —
路由精度 MoE/MoVA 路由器保持 bf16 不量化 保证路由决策精度

MoVA 的计算核心就在 k2_horizon.py 这几行:先由路由器给每个 token 选出 value 专家,再加权混合它们的输出作为注意力的 values。KV 缓存方式与普通注意力一致,无需特殊处理。

量化是怎么做的?

4-bit 版并非"一刀切",而是按测量结果做混合精度(详见 README.md):

  • 4-bit(group size 64):占参数大头的路由 MoE 专家和共享专家
  • 8-bit(group size 64):注意力(含 MoVA value 专家)、前 3 层密集 MLP、embeddings 和 lm_head
  • bf16:MoE 和 MoVA 的路由器

作者实测三种方案在 WikiText-2 上的困惑度:全 4-bit 恶化 +4.5%,只把 MoVA value 专家保 8-bit 只有 +4.4%,而这种"非专家权重全保 8-bit"的方案仅 +1.2%——多花约 5 GB 内存,换来几乎无感的精度损失。

三、如何在 Mac 上部署运行(最快配置方法)

⚠️ 注意:mlx-lm 官方尚未内置 k2_horizon 架构,所以这个仓库自带 MLX 模型代码(k2_horizon.py),通过 config.json 的 model_file 字段加载,最新版 mlx-lm 可直接运行。

硬件门槛:峰值 26.5 GB 内存,48 GB 的 Mac 在默认 Metal 限制下即可运行;36 GB 的 Mac 需要用 sudo sysctl iogpu.wired_limit_mb=... 调高上限。

三步跑起来:

pip install -U mlx-lm
mlx_lm.generate --model mlx-community/K2-Horizon-MoVA-36B-A4B-4bit --trust-remote-code --prompt "Explain mixture-of-experts in two sentences." --max-tokens 2048
  1. 安装(或升级)mlx-lm
  2. 执行上面的生成命令,记得带 --trust-remote-code(新版 mlx-lm 必需)
  3. 也可以用 mlx_lm.chat 多轮对话,或 mlx_lm.server 起本地服务,用法完全一样

由于模型推理代码会在你本机运行,作者建议运行前花一分钟阅读 k2_horizon.py。转换后也做了严格校验:MLX 实现与 IFM 原版 PyTorch 代码在 fp32 下逐层对比,全部 48 层相对误差小于 1e-6,逐位置 next-token 预测一致。

四、性能实测:量化档位怎么选

官方给出了三个档位在同一台 M4 Max 128GB Mac 上的完整对比:

档位 位宽 磁盘 峰值内存 WikiText-2 困惑度 生成速度
bf16 16 bits 70 GB 75.0 GB 11.368 35.3 tok/s
8-bit 8.5 bits 37 GB 39.9 GB 11.372(+0.04%) 51.2 tok/s
4-bit(本仓库) 5.6 bits 25 GB 26.5 GB 11.508(+1.2%) 59.6 tok/s

📌 结论很直白:4-bit 版速度比 bf16 快约 70%,精度只损失 1.2% 的困惑度。另外注意 KV cache 约 192 KB/token(128K token 约 24 GB),长上下文场景请预留内存。

五、思考模式:<ifm|think> 与 reasoning_effort

K2-Horizon 是推理模型:回答前会先"想一想",思考内容包裹在 <ifm|think> … </ifm|think> 标签里。两个实用细节:

  • 预留 max_tokens:思考会消耗输出 token 额度,生成长答案时别设太小
  • 调节思考力度:通过 chat_template.jinja 中的 reasoning_effort 参数控制——"high"(默认)/"medium"/"low" 三档,简单问题可以用低档省 token
prompt = tokenizer.apply_chat_template(messages, add_generation_prompt=True, reasoning_effort="low")

另外两个已知小坑(README 已说明):mlx-lm 目前还没识别 <ifm|think> 标签,mlx_lm.server 会把思考文本直接放在 content 里;工具调用格式也尚未被解析。

六、仓库文件速览

文件 作用
README.md 模型卡:量化方法、内存、基准、用法
k2_horizon.py 模型 MLX 实现(注意力 + MoVA + MoE)
config.json 架构参数与逐层量化配置
chat_template.jinja 对话模板(含 thinking 标签与 effort 档位)
generation_config.json 生成参数(BOS/EOS token)
tokenizer.json、tokenizer_config.json 分词器配置
model.safetensors.index.json 权重索引(总参数量 37,444,792,020)

七、它适合谁?

  • ✅ M 系列芯片 Mac 用户:48 GB 内存即可本地跑 36B 级 MoE 模型,无需任何云服务
  • ✅ 长上下文需求者:原生 512K 上下文,配合 MoE 稀疏激活,长文本推理成本可控
  • ✅ 推理模型爱好者:可调节思考力度,支持数学/逻辑类任务的深度推理(冒烟测试中 17 * 23 能给出正确推理过程)
  • ⚠️ 需要留意:mlx-lm 官方原生支持 k2_horizon 架构前,必须使用 --trust-remote-code 加载仓库自带代码

一句话总结:K2-Horizon-MoVA-36B-A4B-4bit 是目前 Apple Silicon 上体验 36B 级稀疏 MoE + 推理模型的"最低门槛"方案——25 GB 下载、26.5 GB 峰值内存、59.6 tok/s 的生成速度,精度损失几乎可以忽略。

登录后查看全文
K2-Horizon-MoVA-36B-A4B-4bit