DeepSeek-V4.1-Flash config.json 逐字段参考:每个超参数到底控制什么?
DeepSeek-V4.1-Flash config.json 逐字段参考:每个超参数到底控制什么?
config.json 是 DeepSeek-V4.1-Flash-1017-w8a8 仓库的"总说明书":它完整定义了 DeepSeek-V4.1-Flash 这个 MoE 多模态大模型的结构超参数,包括词表大小、层数、注意力头、MoE 专家数、100 万级长上下文配置,以及昇腾 W8A8 量化方式。只要看懂这份文件,你就能回答"模型有多大、能接多长上下文、量化了什么"这三个最常被问到的问题。本文对 config.json 中的每个字段逐一做通俗解释,帮助你快速掌握 DeepSeek-V4.1-Flash 超参数含义。
先看一眼仓库:这份 config.json 管着哪些权重 📦
| 文件 | 作用 |
|---|---|
| config.json | 模型结构总配置(本文主角) |
| quant_model_weights-00001-of-00138.safetensors ~ quant_model_weights-00138-of-00138.safetensors | 138 个分片的 int8 量化主权重 |
| quant_model_weights-engram-1.safetensors、quant_model_weights-engram-14.safetensors | 第 1、14 层的 Engram 记忆库权重(对应 engram_layer_ids) |
| quant_model_weights.safetensors.index.json | 权重文件索引,加速按需加载 |
| DeepSeek-V4.1-Flash_best_practice.yaml | 昇腾 W8A8 量化最佳实践(vLLM-Ascend 已验证) |
| optional/quarot.safetensors | QaRot 全局旋转矩阵,用于量化前的权重平滑 |
| tokenizer_config.json、tokenizer.json | 分词器配置 |
| configuration.json | 声明任务类型为 text-generation |
一句话总结:这是一份面向 昇腾(Ascend)平台的 W8A8 int8 量化模型,已验证支持 vLLM-Ascend 在 Atlas A2 / A3 上推理,配置详情见 DeepSeek-V4.1-Flash_best_practice.yaml。
顶层字段:模型的"身份证"
| 字段 | 值 | 通俗解释 |
|---|---|---|
architectures |
DeepseekV41ForCausalLM |
加载模型时使用的代码类名,推理框架靠它找到对应的模型实现 |
model_type |
deepseek_v41 |
模型家族标识,供框架识别架构版本 |
dtype |
bfloat16 |
原始模型的训练精度。注意:仓库里的权重已按 quantization_config 转成 int8 存储 |
transformers_version |
5.6.0 |
导出模型所用的 transformers 版本,部署时建议参考该版本兼容性 |
bos_token_id / eos_token_id / pad_token_id |
0 / 1 / 2 | 句首、句尾、填充三个特殊 token 的编号,与 tokenizer_config.json 中的 <|begin▁of▁sentence|>、<|end▁of▁sentence|> 一一对应 |
image_token_id |
129264 | 视觉特征注入文本流的占位 token:图片被视觉塔编码后,在文本序列里就替换成这个 token |
新手重点:想知道"模型能不能处理图片",看有没有
image_token_id和下面的vision_config——这个模型两个都有,说明它是图文多模态模型。
text_config:大模型核心超参数(重点)🔍
text_config 位于 config.json,是全文最长的段落,按功能可以拆成 7 组。
基础结构:词表、宽度与层数
| 字段 | 值 | 通俗解释 |
|---|---|---|
vocab_size |
129280 | 词表大小,即模型认识多少种 token(含特殊符号) |
hidden_size |
5120 | 隐藏层维度,俗称"模型宽度",直接决定每层数据流的粗细 |
num_hidden_layers |
40 | Transformer 层数(深度),compress_ratios 数组就是按层排列的 |
moe_intermediate_size |
2304 | 每个 MoE 专家内部 FFN 的中间维度,决定单个专家"脑容量" |
注意力机制:MLA 低秩设计
DeepSeek-V4.1-Flash 延续了 MLA(Multi-head Latent Attention)思路:KV 不直接存原始向量,而是先压缩成低秩表示再展开,大幅节省 KV 缓存。
| 字段 | 值 | 通俗解释 |
|---|---|---|
num_attention_heads |
64 | Query 侧注意力头数量 |
num_key_value_heads |
1 | KV 侧只有 1 个"共享"头——KV 先压进低秩空间,再按头展开,这是省显存的关键 |
head_dim |
512 | 每个头展开后的维度 |
qk_rope_head_dim |
64 | 每个头 512 维中,只有 64 维参与 RoPE 位置编码,其余维存纯内容信息 |
q_lora_rank |
1280 | Query 低秩压缩后的瓶颈维度 |
o_lora_rank |
1024 | 输出投影低秩矩阵的瓶颈维度 |
o_groups |
8 | 输出低秩投影分组数,便于并行切分推理 |
长上下文:1M Token 是怎么做到的
| 字段 | 值 | 通俗解释 |
|---|---|---|
max_position_embeddings |
1048576 | 最大上下文长度,正好 100 万 token |
rope_theta |
10000 | RoPE 位置编码的基频 |
rope_scaling |
yarn,factor: 16 |
使用 YaRN 方法把训练长度外推 16 倍 |
其中 rope_scaling 细节值得展开:config.json 中 original_max_position_embeddings 为 65536,factor 为 16,两者相乘正好等于 1048576——也就是说模型先在 6.4 万长度上训练,再用 YaRN(beta_fast: 32、beta_slow: 1 控制高低频外推的插值强度)扩展到了 1M 长度。
MoE 混合专家:384 选 6
| 字段 | 值 | 通俗解释 |
|---|---|---|
n_routed_experts |
384 | 可路由专家总数,每层都有 384 个"候选专家" |
n_shared_experts |
1 | 每层 1 个"公共专家",所有 token 都会经过它,兜底基础能力 |
num_experts_per_tok |
6 | 每个 token 只激活 6 个路由专家(激活量远小于 384,推理很快) |
scoring_func |
sqrtsoftplus |
专家打分函数,比纯 softmax 在极端分值下更稳定 |
topk_method |
noaux_tc |
Top-K 选择方式,noaux 表示训练时不依赖辅助负载均衡损失 |
norm_topk_prob |
true | 选出 6 个专家后,把权重重新归一化为和为 1 |
routed_scaling_factor |
1.5 | 路由专家输出的整体放大系数,补偿"只激活少数专家"带来的信号衰减 |
稀疏注意力与 KV 压缩:长上下文的另一套省法
这一组字段控制"长文本时 KV 缓存怎么省",是理解 Flash 版本省显存的关键:
| 字段 | 值 | 通俗解释 |
|---|---|---|
sliding_window |
128 | 部分层只用 128 长度窗口做局部注意力的步长 |
compress_ratios |
42 个 0/1/2 | config.json 中按层顺序给出每层 KV 压缩比:0/1 表示该层 KV 全量保留,2 表示压缩到一半。整体规律是:前 2 层不压、中间 18 层压半、后续 19 层不压、最后 3 层不压——只对中间层做压缩,兼顾首尾层的精度 |
compress_rope_theta |
160000 | 压缩后 KV 使用的位置编码基频 |
kv_source_layer_ids |
[2, 8, 14, 20] | 为下游层"代供" KV 的源层编号 |
index_source_layer_ids |
[2, 8, 14, 20, 24, 28, 32, 36] | 稀疏注意力索引器(Indexer)的源层 |
index_n_heads / index_head_dim |
32 / 128 | 索引器自身的小型注意力结构:32 头、每头 128 维 |
index_topk |
512 | 每步只精读打分最高的 512 个 KV 块,跳过无关内容 |
candidate_source_layer_id |
20 | 候选 KV 池取自第 20 层 |
candidate_topk_blocks / candidate_block_size |
2048 / 8 | 候选池最多 2048 块,每块 8 个 token |
hc_mult / hc_sinkhorn_iters / hc_eps |
4 / 20 / 1e-06 | HC 压缩模块:压缩倍数 4;用 Sinkhorn 迭代 20 次把 KV 均匀分配到压缩槽位,eps 是数值稳定性参数 |
简单理解:长文本时模型不是所有层都全量注意,而是"部分层 KV 压半 + 稀疏索引只读最相关的 512 个块",这就是 1M 上下文能跑起来的根本原因。
Engram:外挂 n-gram 记忆库 🧠
这组字段对应仓库里独立存放的 engram 权重文件(quant_model_weights-engram-1.safetensors 和 quant_model_weights-engram-14.safetensors):
| 字段 | 值 | 通俗解释 |
|---|---|---|
engram_layer_ids |
[1, 14] | 记忆库挂载在第 1 层和第 14 层,文件名里的 -1、-14 就是这两个数字 |
engram_num_embeddings |
约 3.84 亿 × 2 | 每层记忆库的条目数,规模很大,所以单独存文件 |
engram_max_ngram_size |
4 | 最大查 4 连词(4-gram)组合 |
engram_vocab_size |
16000000 | 记忆库的 n-gram 词表大小,1600 万种词组 |
engram_n_heads / engram_head_dim |
8 / 256 | 查表结果投影的注意力头配置(8 头 × 256 维) |
engram_pad_token_id |
2 | 查表未命中时填充用的 token |
engram_compressed_vocab_size |
99092 | 压缩哈希词表大小,用更紧凑的方式组织大词表 |
通俗说:文本中出现的常用词组会直接"查字典"拿到语义特征,不用全靠 Transformer 一层层算,既提速又省算力。
MTP 与 DSpark:一口气预测多个 token 🚀
| 字段 | 值 | 通俗解释 |
|---|---|---|
num_nextn_predict_layers |
3 | MTP(多 token 预测):额外 3 个预测层,一次尝试预测接下来 3 个 token,可显著加速生成 |
dspark_block_size |
5 | DSpark 投机解码块大小:每次成组验证 5 个 token |
dspark_noise_token_id |
128799 | 训练/投机时使用的特殊噪声 token 编号 |
dspark_target_layer_ids |
[37, 38, 39] | DSpark 借用最后 3 层主网络做预测目标 |
dspark_markov_rank |
256 | token 转移规律用秩 256 的矩阵近似(Markov 先验) |
dspark_n_routed_experts / dspark_num_experts_per_tok |
128 / 3 | DSpark 自带一个小号 MoE:128 专家、每 token 激活 3 个,轻量快速 |
vision_config:视觉编码器参数
| 字段 | 值 | 通俗解释 |
|---|---|---|
num_hidden_layers |
32 | 视觉塔 32 层 |
hidden_size |
1024 | 视觉塔隐藏维度 |
num_attention_heads |
16 | 视觉注意力头数 |
intermediate_size |
2816 | 视觉 FFN 中间维度 |
patch_size |
14 | 图片切成 14×14 像素的小块再编码 |
rope_theta |
10000 | 视觉塔的位置编码基频 |
downsample_ratio |
3 | 编码后空间分辨率再降 3 倍,压缩 token 数量 |
max_image_tokens |
1024 | 单张图片最多占 1024 个 token(即最多 1024 个 image_token_id 占位符) |
min_pixels |
295936 | 图片低于该像素数会先放大,避免小图信息损失 |
max_wh_ratio |
null | 不限宽高比,横图竖图均可 |
quantization_config 与 engram_rotation_config:量化配置 🛠️
| 字段 | 值 | 通俗解释 |
|---|---|---|
quantization_config.quant_method |
ascend |
权重为昇腾定制 int8 格式,不是 GPTQ/AWQ 等通用方案,需用支持 Ascend 量化的推理框架(如 vLLM-Ascend)加载 |
engram_rotation_config 记录的是量化前的 QaRot 旋转预处理,四个字段含义:
value_projection_rotated: true:Engram 的 Value 投影矩阵已被预旋转;value_basis: quarot_global:旋转矩阵来自全局 QaRot,即仓库中的 optional/quarot.safetensors;key_and_gate_basis: original:Key 和 Gate 矩阵保持原始基底,未旋转;runtime_delta_rotation: false:旋转已"烘"进导出权重,推理时不再做任何额外旋转计算。
这套旋转的目的是把权重分布变得平滑,让 int8 量化误差更小。量化本身的细节(权重 per-channel、激活 per-token、对称 minmax int8)写在 DeepSeek-V4.1-Flash_best_practice.yaml 中。
快速上手:3 分钟读懂 config.json 的实用顺序
- 看规模:
num_hidden_layers(40 层)+n_routed_experts(384 专家)+hidden_size(5120)——模型深度与宽度一览无余; - 看上下文:
max_position_embeddings(1M)+rope_scaling(YaRN 外推 16 倍)——确认能接多长的输入; - 看省法:
compress_ratios+index_topk+engram_*——理解 Flash 版为什么又长又快; - 看部署:
quantization_config(ascend)+dtype(bfloat16)——确认你的推理框架匹配。
📌 小结:config.json 里没有一个字段是摆设——顶层字段是"身份证",text_config 定义 40 层 MoE 主干(MLA 注意力 + YaRN 长上下文 + 384 专家选 6 + KV 压缩稀疏注意力 + Engram 记忆库 + DSpark 投机解码),vision_config 定义视觉塔,最后的量化与旋转配置决定了这份 W8A8 权重只能在昇腾生态中高效运行。