开发者进阶:用 mlx-vlm 在 Python 中加载 Qwen3.6-35B-A3B-MLX-8bit 并写多模态推理代码

原创2026-11-12 12:13:381,062 阅读
文章标签:人工智能大模型多模态模型量化本地部署

开发者进阶:用 mlx-vlm 在 Python 中加载 Qwen3.6-35B-A3B-MLX-8bit 并写多模态推理代码

在 Python 中用 mlx-vlm 加载 Qwen3.6-35B-A3B-MLX-8bit,只需几行代码即可在 Apple Silicon Mac 上本地运行这个 8-bit 量化的多模态大模型,完成图片、视频理解与文本对话推理。该模型由 LM Studio 团队基于 mlx-vlm 对 Qwen3.6-35B-A3B 做 MLX 量化而来,专为 Apple Silicon 优化(详见 README.md)。本文带你从零完成:环境安装 → 模型加载 → 多模态推理代码编写。

为什么选择 Qwen3.6-35B-A3B-MLX-8bit?

这是一个「混合专家(MoE)+ 视觉」的多模态模型,核心卖点在 config.json 里写得清清楚楚:

关键配置 取值 含义
num_experts / num_experts_per_tok 256 / 8 256 个专家,每 token 只激活 8 个,推理快
hidden_size / num_hidden_layers 2048 / 40 文本主干 40 层
max_position_embeddings 262144 支持约 256K 上下文
量化方式(config.json#L11-L14) 8-bit / group_size 64 / affine 8 位分组量化,精度与体积平衡好
视觉塔(config.json#L755-L770) 27 层、patch 16 图像与视频统一处理
model_type qwen3_5_moe 文本 + 视觉 + 视频三模态

💡 「A3B」意味着每步只激活约 3B 参数——参数量大但速度快,非常适合在 Mac 本地做长文本 + 图像推理。

获取模型文件:仓库结构速览

模型权重共 8 个分片,总大小约 35 GB(见 model.safetensors.index.json 中 total_size: 37721128672 字节)。

文件 作用
model-00001-of-00008.safetensors ~ model-00008-of-00008.safetensors 模型权重分片
config.json 模型架构与量化配置
generation_config.json 采样参数(temperature、top_k 等)
processor_config.json 图像/视频预处理参数
chat_template.jinja 对话模板,自动处理 image/video 占位符
tokenizer.json、vocab.json 词表与分词器

下载整个模型仓库(约 35 GB,建议用 LFS 加速):

git clone https://gitcode.com/hf_mirrors/lmstudio-community/Qwen3.6-35B-A3B-MLX-8bit

环境准备:mlx-vlm 一键安装步骤

MLX 是 Apple 官方机器学习框架,仅支持 macOS + Apple Silicon(M 系列芯片)。

# 1. 建议使用虚拟环境
python3 -m venv .venv && source .venv/bin/activate

# 2. 一条命令安装(自动带入 mlx 依赖)
pip install mlx-vlm

# 3. 验证安装
python -c "import mlx; print(mlx.__version__)"

⚠️ Intel Mac 或 Windows/Linux 无法运行 MLX 权重,这是硬性限制。

在 Python 中加载模型:最快配置方法

load() 会自动读取目录下的 config.json 和分片索引,无需手动指定每个 .safetensors:

from mlx_vlm import load

# 指向下载好的模型目录(或仓库 ID)
model, processor = load("./Qwen3.6-35B-A3B-MLX-8bit")
  • model:MLX 格式的模型本体(权重自动以 8-bit 量化形态加载);
  • processor:封装了分词器 + chat_template.jinja 对话模板 + 图像/视频处理器。

首次加载需要把 8 个分片读进统一内存,耐心等待即可;之后再推理速度会非常快。

多模态推理代码:图片理解实战

先做纯文本对话,验证模型工作正常:

from mlx_vlm import load, generate

model, processor = load("./Qwen3.6-35B-A3B-MLX-8bit")

prompt = processor.apply_chat_template(
    [{"role": "user", "content": "用一句话介绍你自己"}],
    add_generation_prompt=True,
)
answer, _ = generate(model, processor, prompt, max_tokens=128)
print(answer)

然后是核心的图文多模态推理。模板中图片会被替换为 <image> 占位 token(image_token_id: 248056,见 chat_template.jinja#L8-L18 与 config.json#L9),视觉塔把图像编码后送入语言模型:

prompt = processor.apply_chat_template(
    [{"role": "user", "content": "请详细描述这张图片里的内容"}],
    add_generation_prompt=True,
)

# images 参数传入本地图片路径列表
answer, _ = generate(
    model, processor, prompt,
    images=["./cat.jpg"],
    max_tokens=512,
)
print(answer)

图像处理参数由 processor_config.json 决定:patch 尺寸 16、2×2 空间合并(processor_config.json#L2-L27),所以高清图会被切块编码,输入图片建议不超过 1K 分辨率以获得最佳速度。

视频理解与采样参数调优

该模型同样支持视频(video_token_id: 248057)。视频默认按 2 fps 抽帧、最多 768 帧(processor_config.json#L28-L59),用法与图片类似,把 images 换成视频路径即可。

采样参数建议沿用官方 generation_config.json:

answer, _ = generate(
    model, processor, prompt,
    images=["./cat.jpg"],
    temperature=1.0,
    top_k=20,
    top_p=0.95,
)
参数 官方值 说明
temperature 1.0 标准采样温度
top_k 20 每步从概率最高的 20 个 token 中选
top_p 0.95 核采样阈值

常见坑与显存清单

  • 🧠 内存:模型约 35 GB,建议 64 GB 统一内存的 Mac(M2/M3/M4 Max 及以上);32 GB 机器加载会 OOM。
  • 📦 版本:不同版本的 mlx-vlm API 略有差异,若 apply_chat_template 报参数错误,请升级:pip install -U mlx-vlm。
  • 🖼️ 图片路径:images 必须是真实存在的本地文件路径,网络 URL 不能直接用。
  • ⚡ 长输出:MoE 架构下生成速度很快,但长 prompt + 高清图会占较多激活内存,可按需调低 max_tokens。

小结

用 mlx-vlm 加载 Qwen3.6-35B-A3B-MLX-8bit 的完整链路只有三步:load() 加载 → apply_chat_template() 构造 prompt → generate() 输出。得益于 8-bit 量化与 256 专家 MoE 架构,这台 Mac 就变成了一个无需联网的本地多模态推理引擎。接下来你可以试试:把 images 换成文档截图做 OCR 式问答,或传入视频路径做视频摘要。

登录后查看全文
Qwen3.6-35B-A3B-MLX-8bit