94个layer-*.safetensors里藏了什么?InternVL3.5-241B-A28B-Pretrained权重文件结构与index.json全解

原创2026-10-17 12:18:081,903 阅读

94个layer-*.safetensors里藏了什么?InternVL3.5-241B-A28B-Pretrained权重文件结构与index.json全解

刚下载完 InternVL3_5-241B-A28B-Pretrained 这个开源多模态大模型的权重目录,是不是被满屏的 layer-0-ep-0-of-1.safetensors 到 layer-93-ep-0-of-1.safetensors 绕晕了?别急,这篇文章带你彻底搞懂:InternVL3.5-241B-A28B-Pretrained(约 241B 总参数、28B 激活参数的预训练版多模态大模型)的 96 个权重文件、3.7 万条 model.safetensors.index.json 索引记录之间到底是什么关系,以及每个文件里具体存了哪些参数。

一、先看目录全貌:96 个权重文件分四类

打开仓库目录(可通过 git clone https://gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-Pretrained 获取完整权重),所有 .safetensors 文件可以归纳成 4 类:

文件 数量 内容 单文件真实大小
layer-{0~93}-ep-0-of-1.safetensors 94 个 语言模型 94 个 MoE 层,每层一个文件 约 4.98 GB
vision.safetensors 1 个 InternViT-6B 视觉编码器全部参数 约 11.2 GB
others.safetensors 1 个 词嵌入、lm_head、最终归一化 约 2.49 GB
配套索引 model.safetensors.index.json 1 个 37540 条"参数名 → 文件"映射 约 4 MB

除了权重文件,目录里还有 config.json(模型超参数)、modeling_internvl_chat.py 和 configuration_internvl_chat.py(自定义建模代码,被 config.json 的 auto_map 引用)、conversation.py(对话模板)、tokenizer.json / added_tokens.json(分词器与新增的视觉/思考标记)等配套文件。

二、为什么恰好是 94 个 layer 文件?

答案藏在 config.json 的语言模型配置里:

  • "num_hidden_layers": 94 —— 语言模型主干是 94 层的 MoE 解码器(底座为 Qwen3-235B-A22B 架构,"model_type": "qwen3_moe");
  • "num_experts": 128,"num_experts_per_tok": 8 —— 每层 128 个专家,每个 token 只激活 8 个。这就是命名中 "A28B"(激活约 28B)的来源。

所以官方按**"一层一个文件"**的粒度做了切分:layer-N 对应 language_model.model.layers.N,N 从 0 到 93,一个不多一个不少。这种切法的好处很实际:

  1. 并行下载:94 个大文件可以多线程同时拉取;
  2. 按需加载:推理框架(如 vLLM 的专家并行 EP 切分)可以只加载本卡负责的那几层文件;
  3. 断点友好:某个文件下载损坏,只需重下它自己。

💡 命名中的 ep-0-of-1 表示 Expert Parallel(专家并行)第 0 份、共 1 份,即没有对专家做二次切分,整层完整保存在一个文件里。

三、拆开一个 layer 文件:393 个张量怎么组成

以 layer-0-ep-0-of-1.safetensors 为例,在 model.safetensors.index.json 中它对应 393 条 weight_map 记录,构成非常有规律:

  • 注意力部分(6 个):q_proj / k_proj / v_proj / o_proj 四个投影矩阵,加上 q_norm、k_norm 两个 QK 归一化参数;
  • 层归一化(2 个):input_layernorm 和 post_attention_layernorm;
  • MoE 部分(385 个):128 个专家 × 每专家 gate_proj、up_proj、down_proj 三个权重 = 384 个,再加上 1 个专家路由门控 mlp.gate.weight。

6 + 2 + 385 = 393,与索引记录完全吻合。94 个 layer 文件结构一致,仅参数名中的层号 N 不同——这也是为什么每个 layer 文件大小几乎相同(约 4.98 GB)。

四、vision.safetensors 与 others.safetensors 各装了什么

vision.safetensors(595 条记录):对应 config.json 中 vision_config 的 InternViT-6B(num_hidden_layers: 45,hidden_size: 3200),包含:

  • vision_model.embeddings.*:patch 嵌入、位置编码、class embedding;
  • vision_model.encoder.layers.0~44.*:45 层 ViT 的注意力(qkv、q/k_norm、proj)与 MLP(fc1/fc2)、归一化;
  • mlp1.0/1/3.*:视觉特征到语言模型维度的投影层。

others.safetensors(仅 3 条记录):因为 embed_tokens、lm_head 和最终 norm 不属于任何一层,被单独存放:

  • language_model.model.embed_tokens.weight —— 输入词嵌入;
  • language_model.lm_head.weight —— 输出词表投影;
  • language_model.model.norm.weight —— 最后一层 RMSNorm。

这也解释了名字里的 241B:5.5B 视觉 + 235.1B 语言 ≈ 240.7B 总参数,bf16 精度下磁盘占用约 470 GB。

五、index.json 全解:37540 条映射是怎么工作的

model.safetensors.index.json 是 Hugging Face 生态的"总目录",结构极简,只有两个顶层字段:

  • metadata:本仓库为空 {};
  • weight_map:37540 个 "参数全名" → "所在文件名" 的键值对。

举几条真实记录感受一下:

"language_model.model.layers.0.mlp.experts.0.up_proj.weight" → "layer-0-ep-0-of-1.safetensors"
"vision_model.encoder.layers.44.attn.proj.bias" → "vision.safetensors"
"language_model.lm_head.weight" → "others.safetensors"

加载器(如 transformers 的 from_pretrained)的工作流程就是:先读 index.json 拿到完整参数清单,再按需打开对应文件、用零拷贝 mmap 取出该张量的字节段——不需要把 470 GB 全部读进内存,这正是 safetensors 相比传统 pickle 格式的核心优势。

验证一个小技巧:数一数 index.json 里指向 layer-0-ep-0-of-1.safetensors 的条目数,应该是 393;去重后一共能数出 96 个文件名,与本目录文件一一对应,没有"孤儿文件"。

六、一个容易踩的坑:Git LFS 指针文件

如果你 clone 后看到 layer-*.safetensors 只有 135 字节,别慌——这不是权重,而是 Git LFS 指针,内容形如:

version https://git-lfs.github.com/spec/v1
oid sha256:d1c5964ec3bc...
size 4975564552

真正的数据存在 LFS 服务端。.gitattributes 中 *.safetensors filter=lfs ... 规则声明了这类文件必须走 LFS。正确做法是安装 git-lfs 并执行 git lfs pull(或 git lfs install && git lfs fetch --all),把指针文件替换回真实的 GB 级权重。下载前可用 git lfs ls-files 核对每个文件的 sha256 与大小是否与指针声明一致,确保完整性。

七、快速自检清单

拿到权重目录后,建议按这个顺序做 3 分钟体检:

  1. 数量:ls layer-*.safetensors | wc -l 应输出 94;
  2. 大小:确认文件不是 135 字节的 LFS 指针(每个 layer 文件应约 4.98 GB);
  3. 索引:打开 model.safetensors.index.json 抽查任意参数名,确认其指向的文件真实存在。

三项全部通过,就可以放心用 modeling_internvl_chat.py 中定义的 InternVLChatModel 加载这份预训练权重,开始你自己的视觉-语言实验了。

常见问题 FAQ

Q:为什么不是一个 470 GB 的大文件? 单文件太大无法多线程下载、难以分布式读取;按层切分后每卡/每节点只需取自己需要的 layer-N 文件,配合 index.json 即可高效组装完整模型。

Q:ep-0-of-1 以后会不会变成 of-2、of-4? 当前权重未做专家切分(of-1);若官方发布专家并行切分版本,同一层会拆成 ep-0-of-2、ep-1-of-2 等多份,index.json 会同步更新映射,加载逻辑不变。

Q:这份 Pretrained 权重和 Instruct 版有什么区别? 本仓库是 InternVL3.5 训练流水线的 CPT(多模态继续预训练)阶段产物,见 README.md 中的各阶段说明;未做 SFT 与强化学习对齐,适合研究与二次训练,而非直接对话。

一句话总结:94 个 layer-*.safetensors = 94 层 MoE 解码器逐层存放(每层 393 个张量),加 1 个视觉编码器、1 个"杂项"文件,再由 model.safetensors.index.json 的 37540 条映射串成 241B 参数的完整拼图。

登录后查看全文
InternVL3_5-241B-A28B-Pretrained