Qwen3.6-35B-A3B-INT8 配置逐项解析:config.json 里每个字段到底意味着什么?

原创2026-11-12 23:38:432,171 阅读
文章标签:大模型模型量化多模态人工智能本地部署

Qwen3.6-35B-A3B-INT8 配置逐项解析:config.json 里每个字段到底意味着什么?

Qwen3.6-35B-A3B-INT8 是 Qwen3.6-35B-A3B 这款 MoE(混合专家)多模态大模型的 INT8 权重量化版本,体积约从 70GB(BF16 原版)压缩到 35GB 左右。本文把它的 config.json 从头到尾拆成 4 个板块——文本主干参数、混合注意力、视觉塔、量化蓝图——逐项解释每个字段"为什么是这个值",帮你 10 分钟读懂一份 2 万行的模型配置。


🗂️ 一、config.json 顶层结构总览

打开 config.json 会看到它比"普通"文本模型多出不少字段,因为这是一个图文视频三合一的模型。顶层字段一共 11 个:

字段 值 一句话含义
architectures Qwen3_5MoeForConditionalGeneration 模型架构类名,"ConditionalGeneration"说明它不只是生成文本
model_type qwen3_5_moe 框架按这个字符串找到对应代码实现
text_config 对象(39 个字段) 语言模型的全部核心参数,下文重点
vision_config 对象(14 个字段) 视觉编码器(ViT)参数
quantization_config 对象 INT8 量化方案说明书(1 万多行,重点!)
image_token_id / video_token_id 248056 / 248057 图片和视频占位符在词表中的编号
vision_start_token_id / vision_end_token_id 248053 / 248054 视觉内容的"开始/结束"标记
tie_word_embeddings false 输入/输出嵌入表不共享,各存一份
transformers_version 4.57.1 保存该文件时的 transformers 版本

💡 读配置的心法:顶层字段是"索引",真正干活的内容都在 text_config、vision_config 和 quantization_config 这三个大对象里。下面逐个板块展开。


🧠 二、text_config:语言模型的核心参数

这一节是全文最长的部分,建议配合 text_config 起始位置 对照阅读。

2.1 MoE 专家结构:A3B 名字的由来

字段 值 含义
num_hidden_layers 40 模型共 40 层
hidden_size 2048 每层的"主干"向量宽度
num_experts 256 每层内置 256 个"专家"小网络
num_experts_per_tok 8 每个 token 只激活其中 8 个
moe_intermediate_size 512 单个专家内部的 FFN 宽度
shared_expert_intermediate_size 512 共享专家(每层都有,所有 token 都经过)

通俗理解:每个 token 进来后,由路由器(gate)从 256 位"专家"里挑 8 位 + 1 个"常驻共享专家"来处理。35B 是总参数量,而每个 token 实际参与的只有约 3B——这就是型号里 A3B(Active 3B) 的含义:总参大、单次激活小,兼顾能力与速度。

2.2 混合注意力:30 层线性 + 10 层全注意力

这是 Qwen3.6 系列最独特的设计。看 layer_types 这个 40 项数组,模式非常整齐:

linear_attention, linear_attention, linear_attention, full_attention,
linear_attention, linear_attention, linear_attention, full_attention, ...

每 4 层里有 1 层 full_attention,其余是 linear_attention,由 full_attention_interval(值为 4)控制。

为什么要混用? 全注意力(Transformer 经典方式)能看全局但显存随长度平方增长;线性注意力(类 Mamba 的 SSM 结构)推理更快、长文本更省。混合后:绝大多数层用便宜的线性注意力,每 4 层插入一次全注意力"校准"全局信息。

与线性注意力相关的参数(L61-L66):

字段 值 含义
linear_conv_kernel_dim 4 局部卷积核大小,捕获邻近 token 依赖
linear_num_key_heads / linear_value_heads 16 / 32 线性注意力的头数
linear_key_head_dim / linear_value_head_dim 128 / 128 每个头的维度
mamba_ssm_dtype float32 SSM 递归状态用单精度计算,防止长序列累积误差

全注意力部分的参数(L72-L76):

字段 值 含义
num_attention_heads 16 Query 头数
num_key_value_heads 2 Key/Value 头数,2/16 = GQA 1:8 分组,大幅压缩 KV Cache
head_dim 256 每个注意力头的维度
attn_output_gate true 注意力输出加门控,增强表达能力

2.3 位置编码:M-RoPE 与 26 万上下文

max_position_embeddings = 262144,即 26 万 token 的上下文窗口——可以一次"读"完约 20 万字节的文档。

rope_parameters 是位置编码(RoPE)的说明书:

  • rope_theta: 10000000:基频 1000 万,比普通模型的 10000 大 1000 倍,专为超长上下文设计;
  • partial_rotary_factor: 0.25:只旋转 25% 的维度(64/256),其余维度不走旋转位置编码;
  • mrope_section: [11, 11, 10] + mrope_interleaved: true:这是多模态 RoPE(M-RoPE),把位置维度拆成 3 段(时间/高/宽方向交错分配),让同一套位置编码既能描述文本顺序,也能描述图片、视频在时空网格上的位置。

2.4 其余常见字段速查

字段 值 含义
dtype bfloat16 原始精度元数据(为什么 INT8 模型写 BF16?见 FAQ)
vocab_size 248320 词表大小,约 24.8 万 token
hidden_act silu FFN 激活函数
rms_norm_eps 1e-06 RMSNorm 的数值稳定项
use_cache true 推理时开启 KV Cache
mtp_num_hidden_layers 1 **MTP(多 Token 预测)**辅助层,可加速解码
router_aux_loss_coef 0.001 训练时"负载均衡"辅助损失权重
bos_token_id / eos_token_id 248044 开始/结束符编号
tie_word_embeddings false 嵌入与输出层不共享权重

🖼️ 三、vision_config:视觉塔参数

vision_config 描述一个 27 层的 ViT(视觉 Transformer),负责把图片/视频"翻译"成语言模型能懂的向量:

字段 值 含义
depth 27 ViT 层数
patch_size 16 图片按 16×16 像素切成小块(patch)
spatial_merge_size 2 2×2 相邻 patch 特征合并,压缩 4 倍
temporal_patch_size 2 视频每 2 帧合并为一个时间块
out_hidden_size 2048 输出维度,与文本侧 hidden_size 严格对齐,视觉特征才能直接注入语言模型

配套处理逻辑见 processor_config.json(图片缩放、归一化、视频抽帧 fps=2 等),tokenizer_config.json 里也能看到对应的特殊 token:<|image_pad|>、<|video_pad|>、<|vision_bos|> 等。


⚡ 四、quantization_config:INT8 量化蓝图

这是本仓库的灵魂所在,也是文件从几百行膨胀到 2 万行的原因。入口在 quantization_config,核心字段:

字段 值 含义
format int-quantized 量化格式:整数权重 + 缩放因子
quant_method compressed-tensors 采用的量化标准(vLLM 生态通用)
quantization_status compressed 权重已量化落盘,加载即用
version 0.17.1 量化格式版本

4.1 权重 vs 激活:典型的"weight-only"方案

config_groups.group_0 定义了两套规则:

  • weights(权重):num_bits=8、strategy=channel(每通道一个缩放因子)、symmetric=true(对称量化)、observer=memoryless_minmax(用极值法定缩放范围,无需校准数据);
  • input_activations(输入激活):dynamic=true、strategy=token——激活值不落盘存储,而是推理时按 token 动态计算;
  • output_activations: null:输出激活完全不动。

这就是 README 所说的 "weight-only 权重量化":只压权重、不压计算过程,所以不牺牲精度、也不需要校准数据集,代价是显存减半而计算速度提升有限。量化规则来自 recipe.yaml:targets: [Linear]、scheme: INT8,由 llmcompressor 的 QuantizationModifier 执行。

🔎 细心的读者会发现 text_config 内部还有一份 quantization_config,内容与顶层完全一致——多模态模型里文本子模型自有一份,两份冗余是框架序列化机制造成的,看顶层那份即可。

4.2 ignore 清单:10381 条"免量化名单"

ignore 是本文最长的字段——1 万多行,列出了保持原始精度、跳过 INT8 的模块。统计后恰好是四类:

类别 条数 例子 为什么保留高精度
MoE 专家网络 10240(40 层 × 256 个) model.layers.0.mlp.experts.0 专家是模型参数大头,稀疏激活下量化误差敏感
路由门控 gate 40 model.layers.0.mlp.gate 路由器输出决定"派谁上场",精度一掉专家选择就乱
共享专家门控 40 model.layers.3.mlp.shared_expert_gate 同上,混合权重对精度极敏感
线性注意力模块 60(30 层 ×2) model.layers.5.linear_attn SSM 递归状态对数值误差会累积放大

另外 lm_head(输出层,见 README 排除说明)也在排除范围内。一句话总结这份蓝图:对"决策类"小模块和误差敏感模块宽容,把量化火力集中在其余的 Linear 层上,这是 INT8 量化里兼顾体积与质量的典型取舍。


❓ 五、新手常见疑问 FAQ

Q1:明明是 INT8 模型,dtype 为什么写着 bfloat16? dtype 记录的是量化之前的原始精度元数据。quantization_status: compressed 才是真相:磁盘上的权重已经是 INT8,框架加载时按 quantization_config 自动解压计算。

Q2:为什么 config.json 写 4.57.1,generation_config.json 却写 5.10.1? 两个文件由不同工具、不同时间保存,transformers_version 只是"谁在什么时候序列化过这个文件"的留痕,不影响模型行为。

Q3:generation_config.json 是干什么的? 它是采样参数出厂设置:temperature=1.0、top_k=20、top_p=0.95,即官方推荐的默认生成策略,推理框架会优先读取它。

Q4:mtp_num_hidden_layers: 1 是什么? 多 Token 预测(Multi-Token Prediction)辅助层,部分推理引擎可用它做投机解码来提速;不用也无副作用。


📋 六、配套文件速查表

文件 作用
config.json 模型结构 + 量化配置(本文主角)
generation_config.json 默认采样参数
recipe.yaml 量化配方:目标层、INT8 方案、排除规则
tokenizer_config.json / tokenizer.json 分词器与 248320 词表
processor_config.json / chat_template.jinja 多模态输入预处理与对话模板
model.safetensors 量化后的权重本体

总结:读懂 config.json 的关键是抓住三层——text_config 告诉你"大脑多大"(35B 总参、A3B 激活、26 万上下文),混合注意力的 layer_types 告诉你"怎么想得又快又稳",而 quantization_config 告诉你"它是怎么从 70GB 瘦身成 35GB 的"。字段都认全了,这份 2 万行的配置文件就不再神秘了。

登录后查看全文
Qwen3.6-35B-A3B-INT8