DeepSeek-V4.1-Flash config.json 逐字段参考:每个超参数到底控制什么?

原创2026-10-19 15:03:412,873 阅读
文章标签:大模型基础模型多模态模型量化DeepSeek

DeepSeek-V4.1-Flash config.json 逐字段参考:每个超参数到底控制什么?

config.json 是 DeepSeek-V4.1-Flash-1017-w8a8 仓库的"总说明书":它完整定义了 DeepSeek-V4.1-Flash 这个 MoE 多模态大模型的结构超参数,包括词表大小、层数、注意力头、MoE 专家数、100 万级长上下文配置,以及昇腾 W8A8 量化方式。只要看懂这份文件,你就能回答"模型有多大、能接多长上下文、量化了什么"这三个最常被问到的问题。本文对 config.json 中的每个字段逐一做通俗解释,帮助你快速掌握 DeepSeek-V4.1-Flash 超参数含义。

先看一眼仓库:这份 config.json 管着哪些权重 📦

文件 作用
config.json 模型结构总配置(本文主角)
quant_model_weights-00001-of-00138.safetensors ~ quant_model_weights-00138-of-00138.safetensors 138 个分片的 int8 量化主权重
quant_model_weights-engram-1.safetensors、quant_model_weights-engram-14.safetensors 第 1、14 层的 Engram 记忆库权重(对应 engram_layer_ids)
quant_model_weights.safetensors.index.json 权重文件索引,加速按需加载
DeepSeek-V4.1-Flash_best_practice.yaml 昇腾 W8A8 量化最佳实践(vLLM-Ascend 已验证)
optional/quarot.safetensors QaRot 全局旋转矩阵,用于量化前的权重平滑
tokenizer_config.json、tokenizer.json 分词器配置
configuration.json 声明任务类型为 text-generation

一句话总结:这是一份面向 昇腾(Ascend)平台的 W8A8 int8 量化模型,已验证支持 vLLM-Ascend 在 Atlas A2 / A3 上推理,配置详情见 DeepSeek-V4.1-Flash_best_practice.yaml。

顶层字段:模型的"身份证"

字段 值 通俗解释
architectures DeepseekV41ForCausalLM 加载模型时使用的代码类名,推理框架靠它找到对应的模型实现
model_type deepseek_v41 模型家族标识,供框架识别架构版本
dtype bfloat16 原始模型的训练精度。注意:仓库里的权重已按 quantization_config 转成 int8 存储
transformers_version 5.6.0 导出模型所用的 transformers 版本,部署时建议参考该版本兼容性
bos_token_id / eos_token_id / pad_token_id 0 / 1 / 2 句首、句尾、填充三个特殊 token 的编号,与 tokenizer_config.json 中的 <|begin▁of▁sentence|>、<|end▁of▁sentence|> 一一对应
image_token_id 129264 视觉特征注入文本流的占位 token:图片被视觉塔编码后,在文本序列里就替换成这个 token

新手重点:想知道"模型能不能处理图片",看有没有 image_token_id 和下面的 vision_config——这个模型两个都有,说明它是图文多模态模型。

text_config:大模型核心超参数(重点)🔍

text_config 位于 config.json,是全文最长的段落,按功能可以拆成 7 组。

基础结构:词表、宽度与层数

字段 值 通俗解释
vocab_size 129280 词表大小,即模型认识多少种 token(含特殊符号)
hidden_size 5120 隐藏层维度,俗称"模型宽度",直接决定每层数据流的粗细
num_hidden_layers 40 Transformer 层数(深度),compress_ratios 数组就是按层排列的
moe_intermediate_size 2304 每个 MoE 专家内部 FFN 的中间维度,决定单个专家"脑容量"

注意力机制:MLA 低秩设计

DeepSeek-V4.1-Flash 延续了 MLA(Multi-head Latent Attention)思路:KV 不直接存原始向量,而是先压缩成低秩表示再展开,大幅节省 KV 缓存。

字段 值 通俗解释
num_attention_heads 64 Query 侧注意力头数量
num_key_value_heads 1 KV 侧只有 1 个"共享"头——KV 先压进低秩空间,再按头展开,这是省显存的关键
head_dim 512 每个头展开后的维度
qk_rope_head_dim 64 每个头 512 维中,只有 64 维参与 RoPE 位置编码,其余维存纯内容信息
q_lora_rank 1280 Query 低秩压缩后的瓶颈维度
o_lora_rank 1024 输出投影低秩矩阵的瓶颈维度
o_groups 8 输出低秩投影分组数,便于并行切分推理

长上下文:1M Token 是怎么做到的

字段 值 通俗解释
max_position_embeddings 1048576 最大上下文长度,正好 100 万 token
rope_theta 10000 RoPE 位置编码的基频
rope_scaling yarn,factor: 16 使用 YaRN 方法把训练长度外推 16 倍

其中 rope_scaling 细节值得展开:config.json 中 original_max_position_embeddings 为 65536,factor 为 16,两者相乘正好等于 1048576——也就是说模型先在 6.4 万长度上训练,再用 YaRN(beta_fast: 32、beta_slow: 1 控制高低频外推的插值强度)扩展到了 1M 长度。

MoE 混合专家:384 选 6

字段 值 通俗解释
n_routed_experts 384 可路由专家总数,每层都有 384 个"候选专家"
n_shared_experts 1 每层 1 个"公共专家",所有 token 都会经过它,兜底基础能力
num_experts_per_tok 6 每个 token 只激活 6 个路由专家(激活量远小于 384,推理很快)
scoring_func sqrtsoftplus 专家打分函数,比纯 softmax 在极端分值下更稳定
topk_method noaux_tc Top-K 选择方式,noaux 表示训练时不依赖辅助负载均衡损失
norm_topk_prob true 选出 6 个专家后,把权重重新归一化为和为 1
routed_scaling_factor 1.5 路由专家输出的整体放大系数,补偿"只激活少数专家"带来的信号衰减

稀疏注意力与 KV 压缩:长上下文的另一套省法

这一组字段控制"长文本时 KV 缓存怎么省",是理解 Flash 版本省显存的关键:

字段 值 通俗解释
sliding_window 128 部分层只用 128 长度窗口做局部注意力的步长
compress_ratios 42 个 0/1/2 config.json 中按层顺序给出每层 KV 压缩比:0/1 表示该层 KV 全量保留,2 表示压缩到一半。整体规律是:前 2 层不压、中间 18 层压半、后续 19 层不压、最后 3 层不压——只对中间层做压缩,兼顾首尾层的精度
compress_rope_theta 160000 压缩后 KV 使用的位置编码基频
kv_source_layer_ids [2, 8, 14, 20] 为下游层"代供" KV 的源层编号
index_source_layer_ids [2, 8, 14, 20, 24, 28, 32, 36] 稀疏注意力索引器(Indexer)的源层
index_n_heads / index_head_dim 32 / 128 索引器自身的小型注意力结构:32 头、每头 128 维
index_topk 512 每步只精读打分最高的 512 个 KV 块,跳过无关内容
candidate_source_layer_id 20 候选 KV 池取自第 20 层
candidate_topk_blocks / candidate_block_size 2048 / 8 候选池最多 2048 块,每块 8 个 token
hc_mult / hc_sinkhorn_iters / hc_eps 4 / 20 / 1e-06 HC 压缩模块:压缩倍数 4;用 Sinkhorn 迭代 20 次把 KV 均匀分配到压缩槽位,eps 是数值稳定性参数

简单理解:长文本时模型不是所有层都全量注意,而是"部分层 KV 压半 + 稀疏索引只读最相关的 512 个块",这就是 1M 上下文能跑起来的根本原因。

Engram:外挂 n-gram 记忆库 🧠

这组字段对应仓库里独立存放的 engram 权重文件(quant_model_weights-engram-1.safetensors 和 quant_model_weights-engram-14.safetensors):

字段 值 通俗解释
engram_layer_ids [1, 14] 记忆库挂载在第 1 层和第 14 层,文件名里的 -1、-14 就是这两个数字
engram_num_embeddings 约 3.84 亿 × 2 每层记忆库的条目数,规模很大,所以单独存文件
engram_max_ngram_size 4 最大查 4 连词(4-gram)组合
engram_vocab_size 16000000 记忆库的 n-gram 词表大小,1600 万种词组
engram_n_heads / engram_head_dim 8 / 256 查表结果投影的注意力头配置(8 头 × 256 维)
engram_pad_token_id 2 查表未命中时填充用的 token
engram_compressed_vocab_size 99092 压缩哈希词表大小,用更紧凑的方式组织大词表

通俗说:文本中出现的常用词组会直接"查字典"拿到语义特征,不用全靠 Transformer 一层层算,既提速又省算力。

MTP 与 DSpark:一口气预测多个 token 🚀

字段 值 通俗解释
num_nextn_predict_layers 3 MTP(多 token 预测):额外 3 个预测层,一次尝试预测接下来 3 个 token,可显著加速生成
dspark_block_size 5 DSpark 投机解码块大小:每次成组验证 5 个 token
dspark_noise_token_id 128799 训练/投机时使用的特殊噪声 token 编号
dspark_target_layer_ids [37, 38, 39] DSpark 借用最后 3 层主网络做预测目标
dspark_markov_rank 256 token 转移规律用秩 256 的矩阵近似(Markov 先验)
dspark_n_routed_experts / dspark_num_experts_per_tok 128 / 3 DSpark 自带一个小号 MoE:128 专家、每 token 激活 3 个,轻量快速

vision_config:视觉编码器参数

字段 值 通俗解释
num_hidden_layers 32 视觉塔 32 层
hidden_size 1024 视觉塔隐藏维度
num_attention_heads 16 视觉注意力头数
intermediate_size 2816 视觉 FFN 中间维度
patch_size 14 图片切成 14×14 像素的小块再编码
rope_theta 10000 视觉塔的位置编码基频
downsample_ratio 3 编码后空间分辨率再降 3 倍,压缩 token 数量
max_image_tokens 1024 单张图片最多占 1024 个 token(即最多 1024 个 image_token_id 占位符)
min_pixels 295936 图片低于该像素数会先放大,避免小图信息损失
max_wh_ratio null 不限宽高比,横图竖图均可

quantization_config 与 engram_rotation_config:量化配置 🛠️

字段 值 通俗解释
quantization_config.quant_method ascend 权重为昇腾定制 int8 格式,不是 GPTQ/AWQ 等通用方案,需用支持 Ascend 量化的推理框架(如 vLLM-Ascend)加载

engram_rotation_config 记录的是量化前的 QaRot 旋转预处理,四个字段含义:

  • value_projection_rotated: true:Engram 的 Value 投影矩阵已被预旋转;
  • value_basis: quarot_global:旋转矩阵来自全局 QaRot,即仓库中的 optional/quarot.safetensors;
  • key_and_gate_basis: original:Key 和 Gate 矩阵保持原始基底,未旋转;
  • runtime_delta_rotation: false:旋转已"烘"进导出权重,推理时不再做任何额外旋转计算。

这套旋转的目的是把权重分布变得平滑,让 int8 量化误差更小。量化本身的细节(权重 per-channel、激活 per-token、对称 minmax int8)写在 DeepSeek-V4.1-Flash_best_practice.yaml 中。

快速上手:3 分钟读懂 config.json 的实用顺序

  1. 看规模:num_hidden_layers(40 层)+ n_routed_experts(384 专家)+ hidden_size(5120)——模型深度与宽度一览无余;
  2. 看上下文:max_position_embeddings(1M)+ rope_scaling(YaRN 外推 16 倍)——确认能接多长的输入;
  3. 看省法:compress_ratios + index_topk + engram_*——理解 Flash 版为什么又长又快;
  4. 看部署:quantization_config(ascend)+ dtype(bfloat16)——确认你的推理框架匹配。

📌 小结:config.json 里没有一个字段是摆设——顶层字段是"身份证",text_config 定义 40 层 MoE 主干(MLA 注意力 + YaRN 长上下文 + 384 专家选 6 + KV 压缩稀疏注意力 + Engram 记忆库 + DSpark 投机解码),vision_config 定义视觉塔,最后的量化与旋转配置决定了这份 W8A8 权重只能在昇腾生态中高效运行。

登录后查看全文
DeepSeek-V4.1-Flash-1017-w8a8