如何快速部署 Mellum2-12B-A2.5B-Instruct-mxfp4:mlx-lm 本地大模型与 API 服务完整指南
如何快速部署 Mellum2-12B-A2.5B-Instruct-mxfp4:mlx-lm 本地大模型与 API 服务完整指南
想在 Mac 上免费搭建自己的本地 AI 服务?Mellum2-12B-A2.5B-Instruct-mxfp4 是 JetBrains 开源 Mellum2 指令模型的 MXFP4 量化版,专为 Apple 芯片优化的 MLX 框架打造:12.1B 总参数、每 token 仅激活 2.5B 参数,约 6.4GB 即可下载部署,支持 131k 长上下文,还能一键启动 OpenAI 兼容 API,让你的应用直接调用本地大模型。
一、Mellum2-12B-A2.5B-Instruct-mxfp4 是什么?
这个仓库 hf_mirrors/mlx-community/Mellum2-12B-A2.5B-Instruct-mxfp4 是 JetBrains/Mellum2-12B-A2.5B-Instruct 的 MLX 量化版本(Apache-2.0 许可),采用 Mixture-of-Experts(MoE,混合专家) 架构,核心特点如下:
| 特性 | 说明 |
|---|---|
| 架构类型 | MoE 稀疏模型(MellumForCausalLM) |
| 总参数 / 激活参数 | 12.1B / 2.5B |
| 专家数量 | 64 个专家,每 token 激活 8 个 |
| 上下文窗口 | 131,072 tokens(约 13 万) |
| 量化方式 | MXFP4,4-bit,group size 32 |
| 模型体积 | 约 6.4GB(两个 safetensors 分片) |
| 工具调用 | 支持 JSON 格式 Function Calling |
| 运行框架 | MLX(mlx-lm),Apple Silicon 最佳 |
MoE 的关键优势在于:模型"大"但推理"轻"。虽然总参数有 12.1B,但每个 token 实际只计算约 2.5B 参数的专家网络,因此推理速度快、显存占用低,M 系列芯片的 Mac 上就能流畅运行,日常问答、代码辅助、文本改写等任务完全够用。
关于细节参数,可以直接查看仓库中的 config.json(模型结构与量化配置)和 model.safetensors.index.json(张量索引,共 593 个张量)。
二、硬件与安装:一键装好 mlx-lm
硬件建议
- 芯片:Apple M 系列(M1 及以上),Metal 加速推理速度最佳;
- 内存:建议 16GB 统一内存起步,16GB 机型可用但建议关闭其他大型应用;
- 磁盘:预留约 7GB 空间(模型会自动下载到本地缓存)。
安装 mlx-lm
只需 Python 3.9+,一条命令安装官方命令行工具:
pip install -U mlx-lm
💡 如果还没有 Python 环境,建议先用
pyenv install 3.12 && pyenv local 3.12快速搭建一个干净版本,避免系统自带依赖冲突。
三、mlx-lm 命令行交互:30 秒开始对话
安装完成后,无需任何配置,一条命令即可启动对话:
mlx_lm.chat \
--model mlx-community/Mellum2-12B-A2.5B-Instruct-mxfp4 \
--max-tokens 8192 \
--temp 0.6 \
--top-p 0.95
参数说明:
--model:模型名称,mlx-lm 会自动下载并缓存;--max-tokens 8192:单次回复最大长度;--temp 0.6:温度参数,0.6 在"稳定"与"灵活"之间比较均衡;--top-p 0.95:核采样阈值,与温度搭配可获得自然的回复风格。
首次运行会提示同意模型下载,等待约 6.4GB 文件下载完成即可进入终端对话界面,输入 exit 退出。
📌 该量化版已把 EOS token 修正为 `