MiniCPM-V-4.7-35B-A3B-DSpark config.json 参数全解读:block_size、置信度头与Markov头详解
MiniCPM-V-4.7-35B-A3B-DSpark config.json 参数全解读:block_size、置信度头与Markov头详解
MiniCPM-V-4.7-35B-A3B-DSpark 是 MiniCPM-V-4.7-35B-A3B 多模态大模型配套的 DSpark 推测解码草稿模型(draft model)。本文带你逐项读懂 config.json 中的关键参数:block_size 如何决定一次"猜"多少个 token、置信度头(confidence head)与 Markov 头在加速推理中扮演什么角色,以及其余参数各自控制什么,帮助你在部署 vLLM 时正确配置推测解码。
一、先搞懂:这个模型是干什么的?
很多人第一次看到"草稿模型"会困惑:一个 3.9 亿参数的小模型,和大模型有什么关系?🤔
简单说,它服务于推测解码(Speculative Decoding) 技术:
- 大模型(Target Model):MiniCPM-V-4.7-35B-A3B 主模型,负责最终"批改";
- 草稿模型(Draft Model):也就是本仓库的 DSpark 模型,只负责快速"打草稿";
- 加速原理:草稿模型一次前向直接吐出多个候选 token(
block_size个),主模型一次性验证这批候选,全部通过就省下了逐 token 生成的时间。
本模型的核心规格(来自 README.md):
| 属性 | 值 |
|---|---|
| 草稿层数 | 5 层 |
| 草稿参数规模 | 389,223,169(约 3.9 亿) |
| 每次前向猜测 token 数 | 15 |
| 取自主模型的隐状态层 | [3, 11, 19, 27, 35] |
| 存储精度 | BF16 |
二、config.json 整体结构速览
打开 config.json,可以看到它本质上是一个 Qwen3 架构的小型 Transformer 配置,外加一大段推测解码专属的 dflash_config:
| 参数 | 值 | 含义 |
|---|---|---|
architectures |
Qwen3DSparkModel |
模型类,Qwen3 的 DSpark 变体(config.json) |
model_type |
qwen3 |
底层架构类型 |
num_hidden_layers |
5 |
草稿模型仅 5 层,非常轻量(config.json) |
hidden_size |
2048 |
隐藏层维度 |
intermediate_size |
6144 |
FFN 中间维度 |
vocab_size / draft_vocab_size |
248144 |
与主模型共享同一词表 |
max_position_embeddings |
262144 |
最大支持 262144 token 上下文 |
num_target_layers |
40 |
主模型共 40 层 |
dtype |
bfloat16 |
BF16 精度 |
⚠️ 注意 architectures 是 Qwen3DSparkModel 而不是 Qwen3ForCausalLM——这是带"草稿 + 置信度 + Markov"能力的专用架构,不能直接用普通 Qwen3 推理类加载。
三、block_size = 15 是什么?
"block_size": 15(config.json)是草稿模型单次前向传播要一次性生成(猜测)的 token 数量。
📌 理解要点:
- 它决定了每次"打草稿"的步长:草稿模型内部通过自回归方式连续生成 15 个 token;
- 主模型随后对这 15 个 token 做一次并行验证,全部通过则一步前进 15 个 token;
- 它直接对应 vLLM 启动参数里的
num_speculative_tokens: 15(README.md)。
改这个值会怎样? 一般不建议修改:block_size 在训练时就已经固定,模型内部结构与"一次猜 15 个"的目标对齐。如果你把 vLLM 里的 num_speculative_tokens 设成其他值,加速收益可能偏离训练时的最优状态。
效果参考:README.md 给出的评测显示,Code 场景平均每次验证通过 7.387 个 token、Math 场景 6.687 个,接近
block_size的一半,这就是推测解码的实际加速水位。
四、置信度头(confidence head)参数详解
置信度头是 DSpark 的一个"自我评估"模块:在猜 token 的同时,预测每个候选 token 被主模型接受的概率。相关参数共有 3 个:
| 参数 | 值 | 位置 |
|---|---|---|
enable_confidence_head |
true |
config.json、config.json |
confidence_head_with_markov |
true |
config.json、config.json |
confidence_head_alpha |
1.0 |
config.json |
各参数作用:
enable_confidence_head: true—— 开启置信度头。训练时的损失函数是CE + L1 + confidence loss(README.md),置信度头就是用其中的 confidence loss 训练出来的;confidence_head_alpha: 1.0—— 置信度损失在总损失中的权重系数,1.0 表示等权;confidence_head_with_markov: true—— 表示置信度预测融合 Markov 转移信息(见下一节),而不是独立打分。
有了置信度估计,推理引擎就可以做自适应验证(adaptive verification):对置信度低的位置提前截断验证,把算力集中花在刀刃上。README 的 vLLM 示例中显式写了 "enable_adaptive_verification":false(README.md),说明该能力是可选开关。
五、Markov 头(markov_head_type / markov_rank)详解
Markov 头为草稿模型补上一个词元转移先验:统计学习"哪个词后面常跟哪个词"的低秩转移矩阵,让草稿更贴合语言惯性。相关参数:
| 参数 | 值 | 说明 |
|---|---|---|
markov_head_type |
vanilla |
Markov 头类型,vanilla 为经典基线形式(config.json) |
markov_rank |
256 |
低秩分解的秩,控制转移矩阵的表达能力(config.json、config.json) |
🔍 markov_rank=256 怎么理解? 完整词表是 248144,词元间转移矩阵若存全量将达 248144×248144,完全不可行。低秩分解把它压缩成"秩 256"的两个瘦矩阵相乘,只保留 256 个主要转移方向,参数量极小却抓住了最常用的语言规律。
结合第四节可以看到:confidence_head_with_markov: true 意味着置信度头的打分与 Markov 转移概率是联合使用的——两者共同回答"这个草稿值不值得让大模型去验证"。
六、dflash_config 子配置逐项说明
dflash_config 是推测解码相关的核心子块,逐项含义如下:
| 参数 | 值 | 含义 |
|---|---|---|
attention_mode |
gqa |
使用 GQA 分组注意力(num_attention_heads=8、num_key_value_heads=2) |
projector_type |
dspark |
投影器类型,把主模型隐状态投影到草稿模型空间 |
target_layer_ids |
<a href="https://link.gitcode.com/i/fb5e6d0c2a3f2ce337ed6a7cd0371fb4" target="_blank">3, 11, 19, 27, 35] |
从主模型第 3/11/19/27/35 层取隐状态(5 个特征正好对应草稿模型 5 层,见 [config.json) |
mask_token_id |
248076 |
草稿生成过程中的 mask 占位 token |
confidence_head_* / markov_* |
见上文 | 置信度头与 Markov 头开关 |
💡 target_layer_ids 很值得注意:草稿模型不是从零自己算上下文,而是直接"搭便车"——复用主模型这些中间层的隐状态作为输入,这也是 5 层小模型敢一次猜 15 个 token 的底气所在。
七、其余值得知道的参数
- 特殊 token 三件套(config.json):
bos_token_id=248045、eos_token_id=248046、pad_token_id=248044,与主模型 tokenizer 完全一致,因此草稿模型必须和主模型成对使用; - RoPE(config.json):
rope_theta=10000000、rope_dim=256,配合 256K 长上下文; - 权重文件:model.safetensors 通过 Git LFS 存储,实际大小约 778MB(3.9 亿参数 × BF16),下载时会自动走 LFS 指针解析。
八、实战:用 vLLM 启用 DSpark 加速
按 README.md 的官方示例,关键在 --speculative-config 这一行:
git clone https://gitcode.com/hf_mirrors/openbmb/MiniCPM-V-4.7-35B-A3B-DSpark
vllm serve \
--model openbmb/MiniCPM-V-4.7-35B-A3B \
--served-model-name MiniCPM-V-4.7-35B-A3B \
--tensor-parallel-size 2 \
--max-model-len 40960 \
--max-num-seqs 1 \
--speculative-config '{"method":"dspark","model":"openbmb/MiniCPM-V-4.7-35B-A3B-DSpark","num_speculative_tokens":15,"enable_adaptive_verification":false}' \
--default-chat-template-kwargs '{"enable_thinking":false}'
⚙️ 配置要点:
method固定为dspark,model指向本草稿模型仓库;num_speculative_tokens: 15与config.json中的block_size=15保持一致;enable_adaptive_verification控制是否启用置信度头驱动的自适应验证,可按压测结果决定开关。
九、常见问题 FAQ
Q1:不搭配主模型,单独跑这个草稿模型行吗?
不行。它依赖主模型的隐状态(target_layer_ids)和 tokenizer,输出也不是面向"直接对话"的,唯一正确用法就是作为 DSpark 推测解码的草稿端。
Q2:enable_confidence_head 设为 false 会怎样?
推理仍可跑,但置信度头失效,confidence_head_with_markov 与 enable_adaptive_verification 等相关能力都会失去意义,加速策略退化为固定长度验证。
Q3:markov_rank 越大越好吗?
不一定。秩越大,转移矩阵表达越精确,但参数量和计算开销同步上升。256 是官方训练时的取值,未经再训练不建议自行调整。
总结
一张表回顾 config.json 的核心参数心智模型:
| 参数 | 一句话理解 |
|---|---|
block_size: 15 |
一次前向猜 15 个 token,需与 vLLM num_speculative_tokens 对齐 |
enable_confidence_head: true |
开启"自我评估",预测每个草稿 token 的通过概率 |
confidence_head_with_markov: true |
置信度打分融合 Markov 转移信息 |
markov_head_type: vanilla + markov_rank: 256 |
低秩(秩 256)词元转移先验 |
target_layer_ids: [3,11,19,27,35] |
复用主模型这 5 层隐状态作为草稿输入 |
读懂这些参数后,你就能明白:DSpark 加速的本质是**"5 层小模型 + 主模型隐状态 + 置信度/Markov 双头评估"**的精密配合——小模型负责快速出稿,双头负责判断稿件质量,大模型只做最终批改。