用mlx_vlm在代码中运行Qwen3.6-35B-A3B-MLX-6bit:Python API与推理脚本开发者指南

原创2026-11-11 10:27:121,752 阅读
文章标签:大模型多模态模型量化本地部署Qwen

用mlx_vlm在代码中运行Qwen3.6-35B-A3B-MLX-6bit:Python API与推理脚本开发者指南

Qwen3.6-35B-A3B-MLX-6bit 是 LM Studio 社区提供的 6bit MLX 量化多模态大模型,原生支持图片、视频与文本输入。本文带你用 mlx_vlm 的 Python API 和命令行推理脚本,在 Apple Silicon 上以几行代码完成本地推理,附环境准备、参数解析与常见问题排查。

一、模型是什么:35B 总参数、约 3B 激活的 MoE 多模态模型

从 config.json 可以看到几个关键信息:

特性 配置值 说明
架构 Qwen3_5MoeForConditionalGeneration MoE 混合专家 + 视觉编码器
专家数 256 个专家,每 token 激活 8 个 所以"35B-A3B":总参数 35B,激活仅约 3B
量化 6-bit affine,group_size 64 MoE 门控保持 8-bit,精度更稳
上下文长度 262144(256K) max_position_embeddings
输入模态 图片 + 视频 + 文本 image_token_id、video_token_id 均有定义
注意力 线性注意力与全注意力混合 4 层中 1 层全注意力,长上下文更高效

权重共 6 个分片(约 29 GB):model-00001-of-00006.safetensors 至 model-00006-of-00006.safetensors,映射关系见 model.safetensors.index.json。

💡 激活参数只有 3B,意味着推理速度接近小模型,却拥有 35B 级知识容量——这正是 MoE 在消费级 Mac 上的优势所在。

二、仓库文件结构速览

Qwen3.6-35B-A3B-MLX-6bit/
├── README.md                          # 模型说明与来源
├── config.json                        # 架构与量化核心配置
├── generation_config.json             # 采样参数(temperature/top_p 等)
├── chat_template.jinja                # 对话模板(含工具调用、思考标签)
├── processor_config.json              # 图像/视频处理器配置
├── preprocessor_config.json           # 图像预处理参数
├── video_preprocessor_config.json     # 视频预处理参数
├── tokenizer.json / vocab.json        # 词表(248320 tokens)
├── configuration.json                 # 框架与任务声明
└── model-0000x-of-00006.safetensors   # 权重分片(Git LFS 管理)

任务声明为 visual-question-answering(configuration.json),对话模板 chat_template.jinja 内置了 system/user/assistant 角色、`

登录后查看全文
Qwen3.6-35B-A3B-MLX-6bit