如何把Qwen3.6-35B-A3B-MLX变成OpenAI兼容API:kapitsa与mlx_lm.server本地LLM服务部署

原创2026-11-16 19:32:16117 阅读

如何把Qwen3.6-35B-A3B-MLX变成OpenAI兼容API:kapitsa与mlx_lm.server本地LLM服务部署

Qwen3.6-35B-A3B-MLX 是 Nace.AI 为 Apple Silicon Mac 制作的 Q4/Q5 量化 MLX 模型包。本文用 kapitsa 和 mlx_lm.server 两种方法,教你快速把它变成标准 OpenAI 兼容 API 的本地 LLM 服务——无需显卡、无需联网调用云端,全程只需几条命令。🚀

它是什么:一个能跑在 Mac 上的 MoE 大模型

这个仓库包含 35B-A3B MoE 架构模型的 MLX 量化权重,提供两档精度:

档位 目录 体积 特点
4-bit Q4/ 约 21 GB 统一 4-bit,路由门控 8-bit,体积与社区版相当但更接近原始模型
5-bit Q5/ 约 23 GB 混合 4/6/8-bit 精度,与 BF16 原版的 KL 距离仅 0.027,质量最优

💡 硬件要求:两档均建议 48 GB+ 内存的 Mac(如 M 系列 Max/Ultra 机型),模型文件 + 2 GB 对话上下文即可装下。kapitsa doctor 可检查你的机器是否满足条件。

模型本体由 model-00001-of-00004.safetensors 等 4 个权重分片组成,配套的 config.json、tokenizer.json、chat_template.jinja 一应俱全;此外还带 MTP 加速头 mtp.safetensors 和 mtplx_runtime.json,用于提升解码速度。

方法一:用 Kapitsa 三步部署 OpenAI 兼容 API

Kapitsa 是 Nace 官方针对 Mac 的本地推理引擎,一条命令就能同时提供:聊天网页 + OpenAI / Anthropic / Ollama 三套 API,是部署 Qwen3.6-35B-A3B-MLX 最省心的方案。

一键安装与启动步骤

brew install nace-ai/tap/kapitsa
kapitsa pull 35b:4bit
kapitsa serve --model 35b:4bit --private

三步完成后,服务运行在 http://127.0.0.1:8000:

  • 浏览器聊天页:直接打开 http://127.0.0.1:8000 即可对话
  • OpenAI 兼容 API:调用 /v1/chat/completions 端点

验证 API 是否就绪

用一条 curl 验证(对应 README.md 中的 Quick start 示例):

curl -s http://127.0.0.1:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
  "messages": [{"role": "user", "content": "What is 17 * 23?"}],
  "temperature": 1.0, "top_p": 0.95, "top_k": 20, "presence_penalty": 1.5
}'

该模型默认开启"思考"模式(先推理再回答),思考内容会返回在 reasoning_content 字段中。如果不需要思考过程,在请求里加 "reasoning_effort": "none"(或 "chat_template_kwargs": {"enable_thinking": false})并改用非思考档采样参数即可。

方法二:用 mlx_lm.server 一键启动 OpenAI 兼容服务

如果你更习惯 Python 生态,mlx-lm 内置的 mlx_lm.server 是另一个轻量选择。

最快配置方法

pip install -U mlx-lm
mlx_lm.server --model nace-ai/Qwen3.6-35B-A3B-MLX

服务默认监听 8080 端口,同样是 OpenAI 兼容的 /v1/chat/completions 接口:

curl -s http://127.0.0.1:8080/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "nace-ai/Qwen3.6-35B-A3B-MLX",
  "messages": [{"role": "user", "content": "What is 17 * 23?"}],
  "temperature": 0.7, "top_p": 0.8, "top_k": 20, "presence_penalty": 1.5,
  "chat_template_kwargs": {"enable_thinking": false}
}'

📌 两种部署方式的差异速记:

  • kapitsa:自带聊天网页、三套 API 协议、pull 自动拉取模型,适合日常使用
  • mlx_lm.server:纯命令行、端口 8080,适合开发者与已有 Python 工作流

推荐采样参数(避免回答质量下降)

以下参数来自官方最佳实践(见 generation_config.json 及 README.md 的 Recommended settings 章节),两种服务通用:

模式 temperature top_p top_k min_p presence_penalty
思考模式(默认) 1.0 0.95 20 0.0 1.5
思考模式 + 精确编程 0.6 0.95 20 0.0 0.0
关闭思考 0.7 0.8 20 0.0 1.5

三个实用提示:

  1. repetition_penalty 保持 1.0,不要额外调
  2. 开启思考模式时,把输出上限给足(最高约 32,768 token)
  3. presence_penalty 取 0~2 可抑制重复,但数值过高可能导致语言混杂

额外收获:工具调用与图片理解

部署成 OpenAI 兼容 API 后,你立刻获得完整生态能力,无需任何改造:

  • 工具调用(Function Calling):按 OpenAI 标准传入 tools 定义,模型即可发起工具调用并完成完整闭环(Q4 版本测试 20/20 全部通过)
  • 图片输入:以 OpenAI image_url 格式传入 http(s) 链接或 base64 图片即可,该模型支持图文对话(vision 塔包含在 Q5 包 model-vision-optiq_vision.safetensors 中)
  • 无缝接入:任何支持 OpenAI 协议的工具(各类 AI 客户端、SDK、工作流平台)把 base_url 指向 http://127.0.0.1:8000/v1(kapitsa)或 http://127.0.0.1:8080/v1(mlx_lm.server)即可使用

小结

方案 端点 优势
kapitsa 8000 端口 聊天网页 + OpenAI/Anthropic/Ollama 三套 API,brew 一键装
mlx_lm.server 8080 端口 纯 Python 生态,接入已有脚本最简单

两条路径都能把 Qwen3.6-35B-A3B-MLX 变成开箱即用的本地 OpenAI 兼容 API。想进一步提升回答质量,选 Q5 档;追求更小的内存占用,Q4 档在同等体积下已比社区 4-bit 版更接近原始模型。选一个方案,几分钟即可开始本地对话。✅

登录后查看全文
Qwen3.6-35B-A3B-MLX