如何把Qwen3.6-35B-A3B-MLX变成OpenAI兼容API:kapitsa与mlx_lm.server本地LLM服务部署
如何把Qwen3.6-35B-A3B-MLX变成OpenAI兼容API:kapitsa与mlx_lm.server本地LLM服务部署
Qwen3.6-35B-A3B-MLX 是 Nace.AI 为 Apple Silicon Mac 制作的 Q4/Q5 量化 MLX 模型包。本文用 kapitsa 和 mlx_lm.server 两种方法,教你快速把它变成标准 OpenAI 兼容 API 的本地 LLM 服务——无需显卡、无需联网调用云端,全程只需几条命令。🚀
它是什么:一个能跑在 Mac 上的 MoE 大模型
这个仓库包含 35B-A3B MoE 架构模型的 MLX 量化权重,提供两档精度:
| 档位 | 目录 | 体积 | 特点 |
|---|---|---|---|
| 4-bit | Q4/ | 约 21 GB | 统一 4-bit,路由门控 8-bit,体积与社区版相当但更接近原始模型 |
| 5-bit | Q5/ | 约 23 GB | 混合 4/6/8-bit 精度,与 BF16 原版的 KL 距离仅 0.027,质量最优 |
💡 硬件要求:两档均建议 48 GB+ 内存的 Mac(如 M 系列 Max/Ultra 机型),模型文件 + 2 GB 对话上下文即可装下。
kapitsa doctor可检查你的机器是否满足条件。
模型本体由 model-00001-of-00004.safetensors 等 4 个权重分片组成,配套的 config.json、tokenizer.json、chat_template.jinja 一应俱全;此外还带 MTP 加速头 mtp.safetensors 和 mtplx_runtime.json,用于提升解码速度。
方法一:用 Kapitsa 三步部署 OpenAI 兼容 API
Kapitsa 是 Nace 官方针对 Mac 的本地推理引擎,一条命令就能同时提供:聊天网页 + OpenAI / Anthropic / Ollama 三套 API,是部署 Qwen3.6-35B-A3B-MLX 最省心的方案。
一键安装与启动步骤
brew install nace-ai/tap/kapitsa
kapitsa pull 35b:4bit
kapitsa serve --model 35b:4bit --private
三步完成后,服务运行在 http://127.0.0.1:8000:
- 浏览器聊天页:直接打开 http://127.0.0.1:8000 即可对话
- OpenAI 兼容 API:调用
/v1/chat/completions端点
验证 API 是否就绪
用一条 curl 验证(对应 README.md 中的 Quick start 示例):
curl -s http://127.0.0.1:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
"messages": [{"role": "user", "content": "What is 17 * 23?"}],
"temperature": 1.0, "top_p": 0.95, "top_k": 20, "presence_penalty": 1.5
}'
该模型默认开启"思考"模式(先推理再回答),思考内容会返回在 reasoning_content 字段中。如果不需要思考过程,在请求里加 "reasoning_effort": "none"(或 "chat_template_kwargs": {"enable_thinking": false})并改用非思考档采样参数即可。
方法二:用 mlx_lm.server 一键启动 OpenAI 兼容服务
如果你更习惯 Python 生态,mlx-lm 内置的 mlx_lm.server 是另一个轻量选择。
最快配置方法
pip install -U mlx-lm
mlx_lm.server --model nace-ai/Qwen3.6-35B-A3B-MLX
服务默认监听 8080 端口,同样是 OpenAI 兼容的 /v1/chat/completions 接口:
curl -s http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "nace-ai/Qwen3.6-35B-A3B-MLX",
"messages": [{"role": "user", "content": "What is 17 * 23?"}],
"temperature": 0.7, "top_p": 0.8, "top_k": 20, "presence_penalty": 1.5,
"chat_template_kwargs": {"enable_thinking": false}
}'
📌 两种部署方式的差异速记:
- kapitsa:自带聊天网页、三套 API 协议、
pull自动拉取模型,适合日常使用- mlx_lm.server:纯命令行、端口 8080,适合开发者与已有 Python 工作流
推荐采样参数(避免回答质量下降)
以下参数来自官方最佳实践(见 generation_config.json 及 README.md 的 Recommended settings 章节),两种服务通用:
| 模式 | temperature | top_p | top_k | min_p | presence_penalty |
|---|---|---|---|---|---|
| 思考模式(默认) | 1.0 | 0.95 | 20 | 0.0 | 1.5 |
| 思考模式 + 精确编程 | 0.6 | 0.95 | 20 | 0.0 | 0.0 |
| 关闭思考 | 0.7 | 0.8 | 20 | 0.0 | 1.5 |
三个实用提示:
repetition_penalty保持 1.0,不要额外调- 开启思考模式时,把输出上限给足(最高约 32,768 token)
presence_penalty取 0~2 可抑制重复,但数值过高可能导致语言混杂
额外收获:工具调用与图片理解
部署成 OpenAI 兼容 API 后,你立刻获得完整生态能力,无需任何改造:
- 工具调用(Function Calling):按 OpenAI 标准传入
tools定义,模型即可发起工具调用并完成完整闭环(Q4 版本测试 20/20 全部通过) - 图片输入:以 OpenAI
image_url格式传入 http(s) 链接或 base64 图片即可,该模型支持图文对话(vision 塔包含在 Q5 包 model-vision-optiq_vision.safetensors 中) - 无缝接入:任何支持 OpenAI 协议的工具(各类 AI 客户端、SDK、工作流平台)把
base_url指向http://127.0.0.1:8000/v1(kapitsa)或http://127.0.0.1:8080/v1(mlx_lm.server)即可使用
小结
| 方案 | 端点 | 优势 |
|---|---|---|
| kapitsa | 8000 端口 | 聊天网页 + OpenAI/Anthropic/Ollama 三套 API,brew 一键装 |
| mlx_lm.server | 8080 端口 | 纯 Python 生态,接入已有脚本最简单 |
两条路径都能把 Qwen3.6-35B-A3B-MLX 变成开箱即用的本地 OpenAI 兼容 API。想进一步提升回答质量,选 Q5 档;追求更小的内存占用,Q4 档在同等体积下已比社区 4-bit 版更接近原始模型。选一个方案,几分钟即可开始本地对话。✅