用mlx_vlm在代码中运行Qwen3.6-35B-A3B-MLX-6bit:Python API与推理脚本开发者指南
用mlx_vlm在代码中运行Qwen3.6-35B-A3B-MLX-6bit:Python API与推理脚本开发者指南
Qwen3.6-35B-A3B-MLX-6bit 是 LM Studio 社区提供的 6bit MLX 量化多模态大模型,原生支持图片、视频与文本输入。本文带你用 mlx_vlm 的 Python API 和命令行推理脚本,在 Apple Silicon 上以几行代码完成本地推理,附环境准备、参数解析与常见问题排查。
一、模型是什么:35B 总参数、约 3B 激活的 MoE 多模态模型
从 config.json 可以看到几个关键信息:
| 特性 | 配置值 | 说明 |
|---|---|---|
| 架构 | Qwen3_5MoeForConditionalGeneration |
MoE 混合专家 + 视觉编码器 |
| 专家数 | 256 个专家,每 token 激活 8 个 | 所以"35B-A3B":总参数 35B,激活仅约 3B |
| 量化 | 6-bit affine,group_size 64 | MoE 门控保持 8-bit,精度更稳 |
| 上下文长度 | 262144(256K) | max_position_embeddings |
| 输入模态 | 图片 + 视频 + 文本 | image_token_id、video_token_id 均有定义 |
| 注意力 | 线性注意力与全注意力混合 | 4 层中 1 层全注意力,长上下文更高效 |
权重共 6 个分片(约 29 GB):model-00001-of-00006.safetensors 至 model-00006-of-00006.safetensors,映射关系见 model.safetensors.index.json。
💡 激活参数只有 3B,意味着推理速度接近小模型,却拥有 35B 级知识容量——这正是 MoE 在消费级 Mac 上的优势所在。
二、仓库文件结构速览
Qwen3.6-35B-A3B-MLX-6bit/
├── README.md # 模型说明与来源
├── config.json # 架构与量化核心配置
├── generation_config.json # 采样参数(temperature/top_p 等)
├── chat_template.jinja # 对话模板(含工具调用、思考标签)
├── processor_config.json # 图像/视频处理器配置
├── preprocessor_config.json # 图像预处理参数
├── video_preprocessor_config.json # 视频预处理参数
├── tokenizer.json / vocab.json # 词表(248320 tokens)
├── configuration.json # 框架与任务声明
└── model-0000x-of-00006.safetensors # 权重分片(Git LFS 管理)
任务声明为 visual-question-answering(configuration.json),对话模板 chat_template.jinja 内置了 system/user/assistant 角色、`
登录后查看全文