开发者进阶:用 mlx-vlm 在 Python 中加载 Qwen3.6-35B-A3B-MLX-8bit 并写多模态推理代码
开发者进阶:用 mlx-vlm 在 Python 中加载 Qwen3.6-35B-A3B-MLX-8bit 并写多模态推理代码
在 Python 中用 mlx-vlm 加载 Qwen3.6-35B-A3B-MLX-8bit,只需几行代码即可在 Apple Silicon Mac 上本地运行这个 8-bit 量化的多模态大模型,完成图片、视频理解与文本对话推理。该模型由 LM Studio 团队基于 mlx-vlm 对 Qwen3.6-35B-A3B 做 MLX 量化而来,专为 Apple Silicon 优化(详见 README.md)。本文带你从零完成:环境安装 → 模型加载 → 多模态推理代码编写。
为什么选择 Qwen3.6-35B-A3B-MLX-8bit?
这是一个「混合专家(MoE)+ 视觉」的多模态模型,核心卖点在 config.json 里写得清清楚楚:
| 关键配置 | 取值 | 含义 |
|---|---|---|
num_experts / num_experts_per_tok |
256 / 8 | 256 个专家,每 token 只激活 8 个,推理快 |
hidden_size / num_hidden_layers |
2048 / 40 | 文本主干 40 层 |
max_position_embeddings |
262144 | 支持约 256K 上下文 |
| 量化方式(config.json#L11-L14) | 8-bit / group_size 64 / affine | 8 位分组量化,精度与体积平衡好 |
| 视觉塔(config.json#L755-L770) | 27 层、patch 16 | 图像与视频统一处理 |
model_type |
qwen3_5_moe |
文本 + 视觉 + 视频三模态 |
💡 「A3B」意味着每步只激活约 3B 参数——参数量大但速度快,非常适合在 Mac 本地做长文本 + 图像推理。
获取模型文件:仓库结构速览
模型权重共 8 个分片,总大小约 35 GB(见 model.safetensors.index.json 中 total_size: 37721128672 字节)。
| 文件 | 作用 |
|---|---|
| model-00001-of-00008.safetensors ~ model-00008-of-00008.safetensors | 模型权重分片 |
| config.json | 模型架构与量化配置 |
| generation_config.json | 采样参数(temperature、top_k 等) |
| processor_config.json | 图像/视频预处理参数 |
| chat_template.jinja | 对话模板,自动处理 image/video 占位符 |
| tokenizer.json、vocab.json | 词表与分词器 |
下载整个模型仓库(约 35 GB,建议用 LFS 加速):
git clone https://gitcode.com/hf_mirrors/lmstudio-community/Qwen3.6-35B-A3B-MLX-8bit
环境准备:mlx-vlm 一键安装步骤
MLX 是 Apple 官方机器学习框架,仅支持 macOS + Apple Silicon(M 系列芯片)。
# 1. 建议使用虚拟环境
python3 -m venv .venv && source .venv/bin/activate
# 2. 一条命令安装(自动带入 mlx 依赖)
pip install mlx-vlm
# 3. 验证安装
python -c "import mlx; print(mlx.__version__)"
⚠️ Intel Mac 或 Windows/Linux 无法运行 MLX 权重,这是硬性限制。
在 Python 中加载模型:最快配置方法
load() 会自动读取目录下的 config.json 和分片索引,无需手动指定每个 .safetensors:
from mlx_vlm import load
# 指向下载好的模型目录(或仓库 ID)
model, processor = load("./Qwen3.6-35B-A3B-MLX-8bit")
model:MLX 格式的模型本体(权重自动以 8-bit 量化形态加载);processor:封装了分词器 + chat_template.jinja 对话模板 + 图像/视频处理器。
首次加载需要把 8 个分片读进统一内存,耐心等待即可;之后再推理速度会非常快。
多模态推理代码:图片理解实战
先做纯文本对话,验证模型工作正常:
from mlx_vlm import load, generate
model, processor = load("./Qwen3.6-35B-A3B-MLX-8bit")
prompt = processor.apply_chat_template(
[{"role": "user", "content": "用一句话介绍你自己"}],
add_generation_prompt=True,
)
answer, _ = generate(model, processor, prompt, max_tokens=128)
print(answer)
然后是核心的图文多模态推理。模板中图片会被替换为 <image> 占位 token(image_token_id: 248056,见 chat_template.jinja#L8-L18 与 config.json#L9),视觉塔把图像编码后送入语言模型:
prompt = processor.apply_chat_template(
[{"role": "user", "content": "请详细描述这张图片里的内容"}],
add_generation_prompt=True,
)
# images 参数传入本地图片路径列表
answer, _ = generate(
model, processor, prompt,
images=["./cat.jpg"],
max_tokens=512,
)
print(answer)
图像处理参数由 processor_config.json 决定:patch 尺寸 16、2×2 空间合并(processor_config.json#L2-L27),所以高清图会被切块编码,输入图片建议不超过 1K 分辨率以获得最佳速度。
视频理解与采样参数调优
该模型同样支持视频(video_token_id: 248057)。视频默认按 2 fps 抽帧、最多 768 帧(processor_config.json#L28-L59),用法与图片类似,把 images 换成视频路径即可。
采样参数建议沿用官方 generation_config.json:
answer, _ = generate(
model, processor, prompt,
images=["./cat.jpg"],
temperature=1.0,
top_k=20,
top_p=0.95,
)
| 参数 | 官方值 | 说明 |
|---|---|---|
temperature |
1.0 | 标准采样温度 |
top_k |
20 | 每步从概率最高的 20 个 token 中选 |
top_p |
0.95 | 核采样阈值 |
常见坑与显存清单
- 🧠 内存:模型约 35 GB,建议 64 GB 统一内存的 Mac(M2/M3/M4 Max 及以上);32 GB 机器加载会 OOM。
- 📦 版本:不同版本的
mlx-vlmAPI 略有差异,若apply_chat_template报参数错误,请升级:pip install -U mlx-vlm。 - 🖼️ 图片路径:
images必须是真实存在的本地文件路径,网络 URL 不能直接用。 - ⚡ 长输出:MoE 架构下生成速度很快,但长 prompt + 高清图会占较多激活内存,可按需调低
max_tokens。
小结
用 mlx-vlm 加载 Qwen3.6-35B-A3B-MLX-8bit 的完整链路只有三步:load() 加载 → apply_chat_template() 构造 prompt → generate() 输出。得益于 8-bit 量化与 256 专家 MoE 架构,这台 Mac 就变成了一个无需联网的本地多模态推理引擎。接下来你可以试试:把 images 换成文档截图做 OCR 式问答,或传入视频路径做视频摘要。