Qwen3.6-35B-A3B-INT8 配置逐项解析:config.json 里每个字段到底意味着什么?
Qwen3.6-35B-A3B-INT8 配置逐项解析:config.json 里每个字段到底意味着什么?
Qwen3.6-35B-A3B-INT8 是 Qwen3.6-35B-A3B 这款 MoE(混合专家)多模态大模型的 INT8 权重量化版本,体积约从 70GB(BF16 原版)压缩到 35GB 左右。本文把它的 config.json 从头到尾拆成 4 个板块——文本主干参数、混合注意力、视觉塔、量化蓝图——逐项解释每个字段"为什么是这个值",帮你 10 分钟读懂一份 2 万行的模型配置。
🗂️ 一、config.json 顶层结构总览
打开 config.json 会看到它比"普通"文本模型多出不少字段,因为这是一个图文视频三合一的模型。顶层字段一共 11 个:
| 字段 | 值 | 一句话含义 |
|---|---|---|
| architectures | Qwen3_5MoeForConditionalGeneration |
模型架构类名,"ConditionalGeneration"说明它不只是生成文本 |
| model_type | qwen3_5_moe |
框架按这个字符串找到对应代码实现 |
| text_config | 对象(39 个字段) | 语言模型的全部核心参数,下文重点 |
| vision_config | 对象(14 个字段) | 视觉编码器(ViT)参数 |
| quantization_config | 对象 | INT8 量化方案说明书(1 万多行,重点!) |
| image_token_id / video_token_id | 248056 / 248057 | 图片和视频占位符在词表中的编号 |
| vision_start_token_id / vision_end_token_id | 248053 / 248054 | 视觉内容的"开始/结束"标记 |
| tie_word_embeddings | false |
输入/输出嵌入表不共享,各存一份 |
| transformers_version | 4.57.1 |
保存该文件时的 transformers 版本 |
💡 读配置的心法:顶层字段是"索引",真正干活的内容都在
text_config、vision_config和quantization_config这三个大对象里。下面逐个板块展开。
🧠 二、text_config:语言模型的核心参数
这一节是全文最长的部分,建议配合 text_config 起始位置 对照阅读。
2.1 MoE 专家结构:A3B 名字的由来
| 字段 | 值 | 含义 |
|---|---|---|
| num_hidden_layers | 40 | 模型共 40 层 |
| hidden_size | 2048 | 每层的"主干"向量宽度 |
| num_experts | 256 | 每层内置 256 个"专家"小网络 |
| num_experts_per_tok | 8 | 每个 token 只激活其中 8 个 |
| moe_intermediate_size | 512 | 单个专家内部的 FFN 宽度 |
| shared_expert_intermediate_size | 512 | 共享专家(每层都有,所有 token 都经过) |
通俗理解:每个 token 进来后,由路由器(gate)从 256 位"专家"里挑 8 位 + 1 个"常驻共享专家"来处理。35B 是总参数量,而每个 token 实际参与的只有约 3B——这就是型号里 A3B(Active 3B) 的含义:总参大、单次激活小,兼顾能力与速度。
2.2 混合注意力:30 层线性 + 10 层全注意力
这是 Qwen3.6 系列最独特的设计。看 layer_types 这个 40 项数组,模式非常整齐:
linear_attention, linear_attention, linear_attention, full_attention,
linear_attention, linear_attention, linear_attention, full_attention, ...
每 4 层里有 1 层 full_attention,其余是 linear_attention,由 full_attention_interval(值为 4)控制。
为什么要混用? 全注意力(Transformer 经典方式)能看全局但显存随长度平方增长;线性注意力(类 Mamba 的 SSM 结构)推理更快、长文本更省。混合后:绝大多数层用便宜的线性注意力,每 4 层插入一次全注意力"校准"全局信息。
与线性注意力相关的参数(L61-L66):
| 字段 | 值 | 含义 |
|---|---|---|
linear_conv_kernel_dim |
4 | 局部卷积核大小,捕获邻近 token 依赖 |
linear_num_key_heads / linear_value_heads |
16 / 32 | 线性注意力的头数 |
linear_key_head_dim / linear_value_head_dim |
128 / 128 | 每个头的维度 |
| mamba_ssm_dtype | float32 |
SSM 递归状态用单精度计算,防止长序列累积误差 |
全注意力部分的参数(L72-L76):
| 字段 | 值 | 含义 |
|---|---|---|
| num_attention_heads | 16 | Query 头数 |
| num_key_value_heads | 2 | Key/Value 头数,2/16 = GQA 1:8 分组,大幅压缩 KV Cache |
| head_dim | 256 | 每个注意力头的维度 |
| attn_output_gate | true |
注意力输出加门控,增强表达能力 |
2.3 位置编码:M-RoPE 与 26 万上下文
max_position_embeddings = 262144,即 26 万 token 的上下文窗口——可以一次"读"完约 20 万字节的文档。
rope_parameters 是位置编码(RoPE)的说明书:
rope_theta: 10000000:基频 1000 万,比普通模型的 10000 大 1000 倍,专为超长上下文设计;partial_rotary_factor: 0.25:只旋转 25% 的维度(64/256),其余维度不走旋转位置编码;mrope_section: [11, 11, 10]+mrope_interleaved: true:这是多模态 RoPE(M-RoPE),把位置维度拆成 3 段(时间/高/宽方向交错分配),让同一套位置编码既能描述文本顺序,也能描述图片、视频在时空网格上的位置。
2.4 其余常见字段速查
| 字段 | 值 | 含义 |
|---|---|---|
| dtype | bfloat16 |
原始精度元数据(为什么 INT8 模型写 BF16?见 FAQ) |
| vocab_size | 248320 | 词表大小,约 24.8 万 token |
| hidden_act | silu |
FFN 激活函数 |
| rms_norm_eps | 1e-06 |
RMSNorm 的数值稳定项 |
| use_cache | true |
推理时开启 KV Cache |
| mtp_num_hidden_layers | 1 | **MTP(多 Token 预测)**辅助层,可加速解码 |
| router_aux_loss_coef | 0.001 | 训练时"负载均衡"辅助损失权重 |
| bos_token_id / eos_token_id | 248044 | 开始/结束符编号 |
| tie_word_embeddings | false |
嵌入与输出层不共享权重 |
🖼️ 三、vision_config:视觉塔参数
vision_config 描述一个 27 层的 ViT(视觉 Transformer),负责把图片/视频"翻译"成语言模型能懂的向量:
| 字段 | 值 | 含义 |
|---|---|---|
| depth | 27 | ViT 层数 |
| patch_size | 16 | 图片按 16×16 像素切成小块(patch) |
| spatial_merge_size | 2 | 2×2 相邻 patch 特征合并,压缩 4 倍 |
| temporal_patch_size | 2 | 视频每 2 帧合并为一个时间块 |
| out_hidden_size | 2048 | 输出维度,与文本侧 hidden_size 严格对齐,视觉特征才能直接注入语言模型 |
配套处理逻辑见 processor_config.json(图片缩放、归一化、视频抽帧 fps=2 等),tokenizer_config.json 里也能看到对应的特殊 token:<|image_pad|>、<|video_pad|>、<|vision_bos|> 等。
⚡ 四、quantization_config:INT8 量化蓝图
这是本仓库的灵魂所在,也是文件从几百行膨胀到 2 万行的原因。入口在 quantization_config,核心字段:
| 字段 | 值 | 含义 |
|---|---|---|
| format | int-quantized |
量化格式:整数权重 + 缩放因子 |
| quant_method | compressed-tensors |
采用的量化标准(vLLM 生态通用) |
| quantization_status | compressed |
权重已量化落盘,加载即用 |
| version | 0.17.1 |
量化格式版本 |
4.1 权重 vs 激活:典型的"weight-only"方案
config_groups.group_0 定义了两套规则:
- weights(权重):
num_bits=8、strategy=channel(每通道一个缩放因子)、symmetric=true(对称量化)、observer=memoryless_minmax(用极值法定缩放范围,无需校准数据); - input_activations(输入激活):
dynamic=true、strategy=token——激活值不落盘存储,而是推理时按 token 动态计算; output_activations: null:输出激活完全不动。
这就是 README 所说的 "weight-only 权重量化":只压权重、不压计算过程,所以不牺牲精度、也不需要校准数据集,代价是显存减半而计算速度提升有限。量化规则来自 recipe.yaml:targets: [Linear]、scheme: INT8,由 llmcompressor 的 QuantizationModifier 执行。
🔎 细心的读者会发现 text_config 内部还有一份 quantization_config,内容与顶层完全一致——多模态模型里文本子模型自有一份,两份冗余是框架序列化机制造成的,看顶层那份即可。
4.2 ignore 清单:10381 条"免量化名单"
ignore 是本文最长的字段——1 万多行,列出了保持原始精度、跳过 INT8 的模块。统计后恰好是四类:
| 类别 | 条数 | 例子 | 为什么保留高精度 |
|---|---|---|---|
| MoE 专家网络 | 10240(40 层 × 256 个) | model.layers.0.mlp.experts.0 |
专家是模型参数大头,稀疏激活下量化误差敏感 |
| 路由门控 gate | 40 | model.layers.0.mlp.gate |
路由器输出决定"派谁上场",精度一掉专家选择就乱 |
| 共享专家门控 | 40 | model.layers.3.mlp.shared_expert_gate |
同上,混合权重对精度极敏感 |
| 线性注意力模块 | 60(30 层 ×2) | model.layers.5.linear_attn |
SSM 递归状态对数值误差会累积放大 |
另外 lm_head(输出层,见 README 排除说明)也在排除范围内。一句话总结这份蓝图:对"决策类"小模块和误差敏感模块宽容,把量化火力集中在其余的 Linear 层上,这是 INT8 量化里兼顾体积与质量的典型取舍。
❓ 五、新手常见疑问 FAQ
Q1:明明是 INT8 模型,dtype 为什么写着 bfloat16?
dtype 记录的是量化之前的原始精度元数据。quantization_status: compressed 才是真相:磁盘上的权重已经是 INT8,框架加载时按 quantization_config 自动解压计算。
Q2:为什么 config.json 写 4.57.1,generation_config.json 却写 5.10.1?
两个文件由不同工具、不同时间保存,transformers_version 只是"谁在什么时候序列化过这个文件"的留痕,不影响模型行为。
Q3:generation_config.json 是干什么的?
它是采样参数出厂设置:temperature=1.0、top_k=20、top_p=0.95,即官方推荐的默认生成策略,推理框架会优先读取它。
Q4:mtp_num_hidden_layers: 1 是什么?
多 Token 预测(Multi-Token Prediction)辅助层,部分推理引擎可用它做投机解码来提速;不用也无副作用。
📋 六、配套文件速查表
| 文件 | 作用 |
|---|---|
| config.json | 模型结构 + 量化配置(本文主角) |
| generation_config.json | 默认采样参数 |
| recipe.yaml | 量化配方:目标层、INT8 方案、排除规则 |
| tokenizer_config.json / tokenizer.json | 分词器与 248320 词表 |
| processor_config.json / chat_template.jinja | 多模态输入预处理与对话模板 |
| model.safetensors | 量化后的权重本体 |
总结:读懂 config.json 的关键是抓住三层——text_config 告诉你"大脑多大"(35B 总参、A3B 激活、26 万上下文),混合注意力的 layer_types 告诉你"怎么想得又快又稳",而 quantization_config 告诉你"它是怎么从 70GB 瘦身成 35GB 的"。字段都认全了,这份 2 万行的配置文件就不再神秘了。