Qwen3-1.6B-A0.9B config.json完全指南:做推理优化前必知的30个配置项
Qwen3-1.6B-A0.9B config.json完全指南:做推理优化前必知的30个配置项
config.json 是 Qwen3-1.6B-A0.9B 这个 MoE(混合专家)小模型的"说明书",直接决定了推理优化时的显存、吞吐与精度策略。本文带你逐个读懂 config.json 中做推理优化前必知的 30 个配置项,帮助新手快速定位影响性能的关键参数。
快速上手:从哪里打开 config.json
克隆仓库后即可直接查看模型配置(仓库为只读,仅用于阅读参考):
git clone https://gitcode.com/hf_mirrors/inference-optimization/Qwen3-1.6B-A0.9B
仓库目录结构非常简洁,每个文件各司其职:
| 文件 | 作用 |
|---|---|
| config.json | 模型结构与核心配置(本文主角) |
| generation_config.json | 生成参数(temperature、top_k 等) |
| model.safetensors | 模型权重文件 |
| tokenizer.json | 分词器词表 |
| tokenizer_config.json | 分词器特殊 token 配置 |
| README.md | 项目说明(含 Tiny 版参数对照表) |
💡 提示:README 中给出了与原始 Qwen3-30B-A3B 的参数对比表,是理解"Tiny 版缩小了什么"的最佳入口。
第一组:模型身份——推理优化前先确认的4项
| # | 配置项 | 值 | 说明 |
|---|---|---|---|
| 1 | model_type |
qwen3_moe |
架构类型,推理框架据此加载 MoE 代码路径 |
| 2 | architectures |
Qwen3MoeForCausalLM |
具体类名,决定 forward 逻辑 |
| 3 | dtype |
bfloat16 |
权重精度,BF16 对 A100/H100 等硬件友好,量化优化以此为基准 |
| 4 | transformers_version |
5.8.0.dev0 |
生成该配置时使用的 transformers 版本 |
做推理优化时,先确认 model_type 是否被你的推理框架支持。MoE 模型与稠密模型在调度、内存布局上差异很大,框架对 qwen3_moe 的支持程度直接决定优化空间。
第二组:MoE 专家路由——看懂"A0.9B"的关键7项
这是本文最核心的一组。模型名中"总参数 1.57B、激活约 0.9B"的秘密就在这里:
| # | 配置项 | 值 | 推理优化含义 |
|---|---|---|---|
| 5 | num_local_experts |
16 | 每层 16 个专家,专家权重需全部装入显存 |
| 6 | num_experts_per_tok |
8 | 每个 token 只激活 8 个专家,约 50% 激活率 |
| 7 | moe_intermediate_size |
768 | 单个专家的 FFN 中间维度,决定专家参数量 |
| 8 | decoder_sparse_step |
1 | 每隔 1 层都是 MoE 层(全部层稀疏激活) |
| 9 | router_aux_loss_coef |
0.001 | 路由均衡辅助损失系数,推理阶段仅占位,不影响性能 |
| 10 | norm_topk_prob |
true | 对 top-k 路由概率归一化,涉及专家加权求和 |
| 11 | output_router_logits |
false | 推理时不输出路由 logits,可省去额外显存 |
优化要点:MoE 优化的重点是"专家权重的内存带宽"。由于 model.safetensors 中每个专家有独立的 gate_proj、up_proj、down_proj 权重,做专家并行(Expert Parallelism)或专家卸载(Offloading)时可直接按专家切分。num_local_experts=16、num_experts_per_tok=8 这组小数值正是该 Tiny 模型便于单机测试的原因。
第三组:注意力机制——GQA 与 KV Cache 压缩的秘诀7项
| # | 配置项 | 值 | 说明 |
|---|---|---|---|
| 12 | num_attention_heads |
32 | Query 注意力头数 |
| 13 | num_key_value_heads |
4 | KV 头数,仅 4 个——典型的 GQA(分组查询注意力) |
| 14 | head_dim |
128 | 每个注意力头的维度 |
| 15 | attention_bias |
false | 注意力无偏置项,kernel 可走无 bias 的优化路径 |
| 16 | attention_dropout |
0.0 | 推理时无 dropout 开销 |
| 17 | max_position_embeddings |
40960 | 最大上下文长度,决定 KV Cache 上限分配 |
| 18 | rope_parameters |
rope_theta=1000000 |
RoPE 旋转位置编码参数,长上下文外推的基础 |
| 19 | use_sliding_window / sliding_window |
false / null |
未启用滑动窗口注意力 |
| 20 | max_window_layers |
48 | 继承自原始 48 层配置的窗口层数(本模型仅 10 层,实际不生效) |
优化要点:KV Cache 是长序列推理显存大头。num_key_value_heads=4 意味着 KV Cache 只有 Query 头数的 1/8,这是 GQA 带来的天然显存红利;max_position_embeddings=40960 则提示你按实际业务上下文(而非最大值)分配 KV Cache,可显著节省显存。
第四组:层结构与前向计算——8个决定算力的参数
| # | 配置项 | 值 | 说明 |
|---|---|---|---|
| 21 | num_hidden_layers |
10 | 仅 10 层(原始模型 48 层),推理链短、延迟低 |
| 22 | hidden_size |
2048 | 隐藏层维度,与原始模型一致 |
| 23 | intermediate_size |
6144 | 稠密 FFN 中间维度(本模型为 MoE 层,此值仅作兼容) |
| 24 | hidden_act |
silu |
SiLU 激活函数,需 kernel 支持对应算子 |
| 25 | mlp_only_layers |
[] |
无纯 MLP 层,所有层均含注意力 |
| 26 | rms_norm_eps |
1e-06 | RMSNorm 数值稳定项,量化时需注意精度敏感 |
| 27 | initializer_range |
0.02 | 权重初始化范围,推理阶段仅占位 |
| 28 | tie_word_embeddings |
false | 输入输出 Embedding 不共享,词表矩阵需完整两份 |
优化要点:num_hidden_layers=10 决定了流水线并行(PP)切分时不宜切过细;tie_word_embeddings=false 意味着 151936 行的词表矩阵独立存在,做低比特量化时可将其与专家权重量化策略区分处理。
第五组:精度、缓存与 Token——3个容易忽略的细节
| # | 配置项 | 值 | 说明 |
|---|---|---|---|
| 29 | use_cache |
false | 默认关闭 KV Cache,纯理解任务无影响;做自回归生成时务必手动开启 |
| 30 | vocab_size / bos_token_id / eos_token_id / pad_token_id |
151936 / 151643 / 151645 / null | 词表规模与特殊 token ID,直接影响 LM Head 输出层大小与批处理 padding |
优化要点:
use_cache=false是最容易踩的坑:跑generate前需要开启,否则每个 token 都重复计算全序列注意力;pad_token_id=null而 tokenizer_config.json 中pad_token为 `