将Qwen3-Coder-Next-MLX-4bit暴露为OpenAI兼容API:为整个团队搭建私有AI编码服务
将Qwen3-Coder-Next-MLX-4bit暴露为OpenAI兼容API:为整个团队搭建私有AI编码服务
Qwen3-Coder-Next-MLX-4bit 是面向 Apple Silicon 优化的 4-bit MLX 量化编码大模型。本教程带你快速把它暴露为 OpenAI 兼容 API,几分钟内就能为整个团队搭好一个数据不出内网的私有 AI 编码服务。
为什么选择 OpenAI 兼容 API
很多团队第一次用大模型都卡在"接入"这一步:IDE 插件、Copilot 类工具、自研 Agent 全都只认 OpenAI 格式的请求。把本地模型暴露为 OpenAI 兼容 API 后,这些工具只需要改一个 Base URL,就能无缝切换到你的私有编码模型:
- ✅ 代码数据留在内网,不经过任何第三方服务器
- ✅ 按 generation_config.json 的默认参数(
temperature: 1.0、top_p: 0.95、top_k: 40)即可开箱即用地回答编码问题 - ✅ 模型内置 Function Calling 能力,可驱动 Agent 调用工具(见 chat_template.jinja 中的工具调用模板)
📌 前提:你需要一台 Apple Silicon(M 系列芯片)的 Mac。该模型基于 MLX 框架量化,专为 Apple 芯片设计,4-bit 权重合计约 41.8 GB(见 model.safetensors.index.json 中的 total_size 字段),建议机器配备 48GB 或 64GB 统一内存。
模型规格速览:这个仓库里有什么
在动手之前,先花一分钟认识这个模型。
| 项目 | 说明 | 来源文件 |
|---|---|---|
| 架构 | Qwen3-Coder-Next MoE,512 个专家、每 token 激活 10 个 | config.json |
| 总参数量 | 约 800 亿(80B) | model.safetensors.index.json |
| 量化方式 | MLX 4-bit(group_size 64),路由门控层保留 8-bit | config.json |
| 上下文长度 | 最大 262,144 token(256K) | config.json |
| 权重分片 | 9 个 safetensors 文件,每个约 4.7 GB | model-00001-of-00009.safetensors ~ model-00009-of-00009 |
| 词表与分词器 | Qwen2 分词器,词表 151,936 | tokenizer_config.json、tokenizer.json |
| 许可 | Apache-2.0,可自由用于团队内部服务 | README.md |
MoE(混合专家)架构意味着:虽然总参数量 80B,但每次推理只激活一小部分专家,因此推理速度比同规模稠密模型快得多,很适合做"7×24 小时待命的团队编码助手"。
三步搭建私有 AI 编码服务
第一步:下载模型文件
先安装 Git LFS(模型权重以 LFS 方式存储),然后克隆仓库:
brew install git-lfs
git lfs install
git clone https://gitcode.com/hf_mirrors/lmstudio-community/Qwen3-Coder-Next-MLX-4bit.git
下载完成后,目录里应该有 9 个 model-XXXXX-of-00009.safetensors 权重文件以及 config.json 等配置文件。
第二步:启动 OpenAI 兼容服务器
两种方式任选其一,都能得到一个标准的 /v1/chat/completions 端点:
方式 A:LM Studio(图形界面,最适合新手)
- 打开 LM Studio,把整个模型目录导入(Add 模型路径)
- 进入 Developer(服务器)页面,选择该模型,点击 Start Server
- 默认监听
http://localhost:1234/v1,浏览器访问http://localhost:1234/还能打开内置聊天界面做冒烟测试
方式 B:mlx_lm 命令行(最适合固定为后台服务)
pip install mlx-lm
mlx_lm.server --model ./Qwen3-Coder-Next-MLX-4bit
服务默认监听 http://localhost:8080/v1,可用 --port 换端口,--host 0.0.0.0 让局域网内的同事也能访问。
第三步:验证 API 并接入团队工具
用一条 curl 验证服务是否正常:
curl http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"qwen3-coder-next","messages":[{"role":"user","content":"用 Python 写一个去重并保序的列表函数"}]}'
返回流式的 JSON 响应即表示成功。此后,把团队工具(IDE 编码助手、CI 代码评审 Bot、内部 Agent 平台等)的 API 地址统一指向这个端点即可——因为接口与 OpenAI 完全兼容,不需要改任何业务代码。
给团队的 3 个实用场景
- IDE 编码助手:主流插件均支持自定义 OpenAI Base URL,输入
http://<服务器地址>:8080/v1,全团队即刻用上本地编码模型 - 代码评审 Bot:利用 256K 长上下文一次性喂入整个模块的代码,让模型输出评审意见
- 内部 Agent:模型支持 Function Calling,可以在对话中调用 Git、搜索、测试等内部工具,构建自动化研发流水线
常见问题(FAQ)
Q:32GB 内存的 Mac 能跑吗? A:4-bit 权重本身就约 41.8 GB,32GB 统一内存基本不够。建议 48GB/64GB 机型,并预留内存给 KV Cache。
Q:局域网同事访问不了?
A:确认启动时指定了 --host 0.0.0.0,且 macOS 防火墙允许该端口入站。
Q:生成参数怎么调?
A:先沿用 generation_config.json 的官方默认值;写代码时把 temperature 调到 0.3~0.7 可以让答案更稳定。
Q:如何判断权重下载完整? A:对照 model.safetensors.index.json 检查 9 个分片是否齐全,总大小应约 41.8 GB。
按以上三步,你得到的就不只是"一个能跑的模型",而是一台可以服务整个团队的私有 AI 编码基础设施:数据不出内网、接口即插即用、还能随团队业务持续扩展。🚀