如何快速部署 Mellum2-12B-A2.5B-Instruct-mxfp4:mlx-lm 本地大模型与 API 服务完整指南

原创2026-10-17 18:28:521,826 阅读

如何快速部署 Mellum2-12B-A2.5B-Instruct-mxfp4:mlx-lm 本地大模型与 API 服务完整指南

想在 Mac 上免费搭建自己的本地 AI 服务?Mellum2-12B-A2.5B-Instruct-mxfp4 是 JetBrains 开源 Mellum2 指令模型的 MXFP4 量化版,专为 Apple 芯片优化的 MLX 框架打造:12.1B 总参数、每 token 仅激活 2.5B 参数,约 6.4GB 即可下载部署,支持 131k 长上下文,还能一键启动 OpenAI 兼容 API,让你的应用直接调用本地大模型。

一、Mellum2-12B-A2.5B-Instruct-mxfp4 是什么?

这个仓库 hf_mirrors/mlx-community/Mellum2-12B-A2.5B-Instruct-mxfp4 是 JetBrains/Mellum2-12B-A2.5B-Instruct 的 MLX 量化版本(Apache-2.0 许可),采用 Mixture-of-Experts(MoE,混合专家) 架构,核心特点如下:

特性 说明
架构类型 MoE 稀疏模型(MellumForCausalLM)
总参数 / 激活参数 12.1B / 2.5B
专家数量 64 个专家,每 token 激活 8 个
上下文窗口 131,072 tokens(约 13 万)
量化方式 MXFP4,4-bit,group size 32
模型体积 约 6.4GB(两个 safetensors 分片)
工具调用 支持 JSON 格式 Function Calling
运行框架 MLX(mlx-lm),Apple Silicon 最佳

MoE 的关键优势在于:模型"大"但推理"轻"。虽然总参数有 12.1B,但每个 token 实际只计算约 2.5B 参数的专家网络,因此推理速度快、显存占用低,M 系列芯片的 Mac 上就能流畅运行,日常问答、代码辅助、文本改写等任务完全够用。

关于细节参数,可以直接查看仓库中的 config.json(模型结构与量化配置)和 model.safetensors.index.json(张量索引,共 593 个张量)。

二、硬件与安装:一键装好 mlx-lm

硬件建议

  • 芯片:Apple M 系列(M1 及以上),Metal 加速推理速度最佳;
  • 内存:建议 16GB 统一内存起步,16GB 机型可用但建议关闭其他大型应用;
  • 磁盘:预留约 7GB 空间(模型会自动下载到本地缓存)。

安装 mlx-lm

只需 Python 3.9+,一条命令安装官方命令行工具:

pip install -U mlx-lm

💡 如果还没有 Python 环境,建议先用 pyenv install 3.12 && pyenv local 3.12 快速搭建一个干净版本,避免系统自带依赖冲突。

三、mlx-lm 命令行交互:30 秒开始对话

安装完成后,无需任何配置,一条命令即可启动对话:

mlx_lm.chat \
  --model mlx-community/Mellum2-12B-A2.5B-Instruct-mxfp4 \
  --max-tokens 8192 \
  --temp 0.6 \
  --top-p 0.95

参数说明:

  • --model:模型名称,mlx-lm 会自动下载并缓存;
  • --max-tokens 8192:单次回复最大长度;
  • --temp 0.6:温度参数,0.6 在"稳定"与"灵活"之间比较均衡;
  • --top-p 0.95:核采样阈值,与温度搭配可获得自然的回复风格。

首次运行会提示同意模型下载,等待约 6.4GB 文件下载完成即可进入终端对话界面,输入 exit 退出。

📌 该量化版已把 EOS token 修正为 `

登录后查看全文
Mellum2-12B-A2.5B-Instruct-mxfp4