tiny-random-qwen3.5-moe-mtp-legacy config.json 完整指南:核心配置参数逐项详解
tiny-random-qwen3.5-moe-mtp-legacy config.json 完整指南:核心配置参数逐项详解
tiny-random-qwen3.5-moe-mtp-legacy 是一个用于测试的微型(tiny)随机初始化模型,其架构为 Qwen3.5 MoE(混合专家)+ MTP(多 Token 预测)的多模态模型。阅读本文可以逐项看懂 config.json 里的核心配置参数,帮助你快速理解混合注意力、MoE 专家路由、视觉塔等关键设置。
📦 这是什么模型?
这个仓库来自 optimum-intel 的内部测试系列,特点是:
- 体量极小:
hidden_size仅 64 词元维度、总共 4 层,权重文件 model.safetensors 只有几百字节,下载和加载飞快; - 架构完整:虽然"小",但保留了 MoE 专家路由、混合注意力、MTP 模块、视觉编码器等完整结构,适合用来调试推理管线和做功能验证;
- 多模态:同时支持文本、图像(
image_token_id)和视频(video_token_id)输入。
仓库文件清单如下,config.json 是其中最重要的"总开关":
| 文件 | 作用 |
|---|---|
| config.json | 模型结构与全部超参数(本文主角) |
| generation_config.json | 生成参数(如 eos_token_id、use_cache) |
| tokenizer_config.json | 分词器特殊 token 定义 |
| preprocessor_config.json | 图像预处理参数 |
| model.safetensors.index.json | 权重分片映射表 |
| chat_template.jinja | 对话模板 |
⚙️ 顶层参数速览
打开 config.json,顶层共 10 个键,先整体认识一遍:
| 参数 | 值 | 含义 |
|---|---|---|
architectures |
Qwen3_5MoeForConditionalGeneration |
加载时使用的模型类名(config.json) |
model_type |
qwen3_5_moe |
模型族标识,框架据此选择实现 |
dtype |
float32 |
顶层精度标记,表示按 float32 初始化(随机权重) |
text_config |
对象 | 语言模型全部超参数,见下文 |
vision_config |
对象 | 视觉编码器超参数,见下文 |
image_token_id |
248056 | 图像占位 token,与词表中的 <|image_pad|> 对应 |
video_token_id |
248057 | 视频占位 token |
vision_start_token_id / vision_end_token_id |
248053 / 248054 | 视觉序列的起始/结束定界符 |
tie_word_embeddings |
false |
输入嵌入与输出投影不共享权重 |
transformers_version |
5.2.0 | 保存时使用的 transformers 版本 |
💡 新手提示:多模态模型中,
*_token_id一组参数负责把图像、视频"翻译"成词表中的占位符,再由视觉编码器的输出替换进去。
🧠 text_config 核心参数详解
text_config(config.json)是最长的部分,按功能可分为四组。
1️⃣ 模型规模与精度
| 参数 | 值 | 说明 |
|---|---|---|
num_hidden_layers |
4 | 语言模型只有 4 层 Transformer |
hidden_size |
64 | 隐层维度极小,印证"tiny"定位 |
intermediate_size |
128 | 普通 FFN 中间层维度 |
vocab_size |
248320 | 词表规模,与 tokenizer.json 一致 |
max_position_embeddings |
512 | 本测试模型最大支持 512 个位置(完整模型可达 262144,见 tokenizer_config.json 的 model_max_length) |
dtype |
bfloat16 |
计算精度 |
initializer_range |
0.02 | 随机初始化标准差 |
2️⃣ 混合注意力:线性注意力 + 全注意力
这是 Qwen3.5 的标志性设计——稀疏混合注意力:
layer_types(config.json)声明每层类型:前 3 层为linear_attention,第 4 层为full_attention;full_attention_interval: 4表示"每 4 层插入一次全注意力",其余层用更省显存、适合长上下文的线性注意力;num_attention_heads: 4、num_key_value_heads: 2构成 GQA(分组查询注意力);linear_num_key_heads: 2、linear_num_value_heads: 4、linear_key_head_dim/linear_value_head_dim均为 16,描述线性注意力内部的通道划分;linear_conv_kernel_dim: 4是局部卷积核宽度;mamba_ssm_dtype: float32表示状态空间计算使用 float32 以保证数值稳定。
🎯 这种设计的收益:大部分层只需 O(1) 的递归状态即可处理长序列,只有少量全注意力层保留全局建模能力。
3️⃣ MoE 专家路由配置
MoE(Mixture of Experts)参数集中在 config.json 附近:
| 参数 | 值 | 说明 |
|---|---|---|
num_experts |
8 | 每层共 8 个专家 |
num_experts_per_tok |
4 | 每个 token 激活其中 4 个(Top-4 路由) |
moe_intermediate_size |
32 | 单个专家的中间层宽度 |
shared_expert_intermediate_size |
32 | 额外的"共享专家"宽度,所有 token 都会经过 |
router_aux_loss_coef |
0.001 | 训练时负载均衡辅助损失系数 |
output_router_logits |
false |
推理时不输出路由 logit,节省内存 |
共享专家(shared_expert)的作用类似"保底专家":即使路由只选中部分专家,共享专家也保证基础能力稳定。你可以在 model.safetensors.index.json 的 weight_map 中验证:每层都包含 mlp.experts.N.* 与 mlp.shared_expert.* 两组权重,以及 mlp.gate.weight(路由门控)。
4️⃣ MTP 多 Token 预测
MTP(Multi-Token Prediction)是本仓库名字中 "mtp" 的由来:
mtp_num_hidden_layers: 1—— 附加 1 层 MTP 预测层,可在一次前向中同时预测下一个(及后续)token;mtp_use_dedicated_embeddings: false—— 复用主模型的嵌入表,不单独新增;- 权重映射中对应的
mtp.fc、mtp.layers.0.*、mtp.pre_fc_norm_*等模块(model.safetensors.index.json)会印证这一结构。
MTP 能提升训练信号密度,也让投机解码等加速方案有更多可利用的"草稿头"。
5️⃣ 位置编码与归一化
rope_parameters(config.json):rope_theta: 10000000—— RoPE 基频,数值越大外推能力越强;partial_rotary_factor: 0.25—— 仅对 25% 的维度施加旋转位置编码;mrope_interleaved: true+mrope_section: [2, 1, 1]—— 交错式多维旋转位置编码(MRoPE),把位置拆给时间、高、宽三个维度,是处理图像/视频多模态位置的关键;
rms_norm_eps: 1e-06—— RMSNorm 的数值稳定项;attention_dropout: 0.0、attn_output_gate: true—— 推理无 dropout,注意力输出带门控;use_cache: true—— 开启 KV Cache 加速自回归生成,与 generation_config.json 中的设置保持一致。
👁️ vision_config 视觉塔配置
vision_config(config.json)描述了一个小型 ViT 视觉编码器:
| 参数 | 值 | 说明 |
|---|---|---|
depth |
2 | 视觉 Transformer 层数 |
hidden_size / out_hidden_size |
64 / 64 | 视觉隐层与输出维度 |
num_heads |
4 | 注意力头数 |
patch_size |
16 | 图像切成 16×16 的 patch |
temporal_patch_size |
2 | 视频沿时间轴每 2 帧合并 |
spatial_merge_size |
2 | 相邻 2×2 patch 特征合并为一个 token,压缩序列长度 |
in_channels |
3 | RGB 三通道输入 |
hidden_act |
gelu_pytorch_tanh |
激活函数 |
配套的 preprocessor_config.json 则定义了图像在进入模型前的缩放与归一化(image_mean: [0.5, 0.5, 0.5]、rescale_factor 等),两者必须配套使用。
🔗 配置之间如何联动?
理解 config.json 不孤立,几个关键联动点:
- 词表联动:
image_token_id、video_token_id必须在 tokenizer.json 的词表中存在,tokenizer_config.json 里的image_token、video_token、vision_bos_token等就是这些占位符; - 生成联动:generation_config.json 的
eos_token_id: 248044与text_config.eos_token_id一致,且_from_model_config: true表明它直接从模型配置继承; - 权重联动:model.safetensors.index.json 共映射 234 个权重张量,模块命名(
linear_attn、experts、mtp、visual)与配置一一对应,是核对"配置与实际模型是否一致"的可靠方式。
✅ 小结:如何快速读懂任意模型配置
| 步骤 | 关注点 |
|---|---|
| ① 看顶层 | architectures 与 model_type 决定框架如何加载 |
| ② 看规模 | hidden_size、num_hidden_layers 判断模型大小 |
| ③ 看注意力 | layer_types、full_attention_interval 判断是否混合注意力 |
| ④ 看 MoE | num_experts、num_experts_per_tok 决定路由策略 |
| ⑤ 看多模态 | vision_config 与各 *_token_id 是否配套 |
tiny-random-qwen3.5-moe-mtp-legacy 虽是小巧的测试模型,却完整浓缩了 Qwen3.5 MoE 的三大特性——混合注意力、Top-K 专家路由、MTP 预测。按本文逐项对照 config.json,你就能在任意同族模型配置中快速定位关键参数,为推理调优和功能验证打下基础。