94个layer-*.safetensors里藏了什么?InternVL3.5-241B-A28B-Pretrained权重文件结构与index.json全解
94个layer-*.safetensors里藏了什么?InternVL3.5-241B-A28B-Pretrained权重文件结构与index.json全解
刚下载完 InternVL3_5-241B-A28B-Pretrained 这个开源多模态大模型的权重目录,是不是被满屏的 layer-0-ep-0-of-1.safetensors 到 layer-93-ep-0-of-1.safetensors 绕晕了?别急,这篇文章带你彻底搞懂:InternVL3.5-241B-A28B-Pretrained(约 241B 总参数、28B 激活参数的预训练版多模态大模型)的 96 个权重文件、3.7 万条 model.safetensors.index.json 索引记录之间到底是什么关系,以及每个文件里具体存了哪些参数。
一、先看目录全貌:96 个权重文件分四类
打开仓库目录(可通过 git clone https://gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-Pretrained 获取完整权重),所有 .safetensors 文件可以归纳成 4 类:
| 文件 | 数量 | 内容 | 单文件真实大小 |
|---|---|---|---|
layer-{0~93}-ep-0-of-1.safetensors |
94 个 | 语言模型 94 个 MoE 层,每层一个文件 | 约 4.98 GB |
vision.safetensors |
1 个 | InternViT-6B 视觉编码器全部参数 | 约 11.2 GB |
others.safetensors |
1 个 | 词嵌入、lm_head、最终归一化 | 约 2.49 GB |
配套索引 model.safetensors.index.json |
1 个 | 37540 条"参数名 → 文件"映射 | 约 4 MB |
除了权重文件,目录里还有 config.json(模型超参数)、modeling_internvl_chat.py 和 configuration_internvl_chat.py(自定义建模代码,被 config.json 的 auto_map 引用)、conversation.py(对话模板)、tokenizer.json / added_tokens.json(分词器与新增的视觉/思考标记)等配套文件。
二、为什么恰好是 94 个 layer 文件?
答案藏在 config.json 的语言模型配置里:
"num_hidden_layers": 94—— 语言模型主干是 94 层的 MoE 解码器(底座为 Qwen3-235B-A22B 架构,"model_type": "qwen3_moe");"num_experts": 128,"num_experts_per_tok": 8—— 每层 128 个专家,每个 token 只激活 8 个。这就是命名中 "A28B"(激活约 28B)的来源。
所以官方按**"一层一个文件"**的粒度做了切分:layer-N 对应 language_model.model.layers.N,N 从 0 到 93,一个不多一个不少。这种切法的好处很实际:
- 并行下载:94 个大文件可以多线程同时拉取;
- 按需加载:推理框架(如 vLLM 的专家并行 EP 切分)可以只加载本卡负责的那几层文件;
- 断点友好:某个文件下载损坏,只需重下它自己。
💡 命名中的
ep-0-of-1表示 Expert Parallel(专家并行)第 0 份、共 1 份,即没有对专家做二次切分,整层完整保存在一个文件里。
三、拆开一个 layer 文件:393 个张量怎么组成
以 layer-0-ep-0-of-1.safetensors 为例,在 model.safetensors.index.json 中它对应 393 条 weight_map 记录,构成非常有规律:
- 注意力部分(6 个):
q_proj/k_proj/v_proj/o_proj四个投影矩阵,加上q_norm、k_norm两个 QK 归一化参数; - 层归一化(2 个):
input_layernorm和post_attention_layernorm; - MoE 部分(385 个):128 个专家 × 每专家
gate_proj、up_proj、down_proj三个权重 = 384 个,再加上 1 个专家路由门控mlp.gate.weight。
6 + 2 + 385 = 393,与索引记录完全吻合。94 个 layer 文件结构一致,仅参数名中的层号 N 不同——这也是为什么每个 layer 文件大小几乎相同(约 4.98 GB)。
四、vision.safetensors 与 others.safetensors 各装了什么
vision.safetensors(595 条记录):对应 config.json 中 vision_config 的 InternViT-6B(num_hidden_layers: 45,hidden_size: 3200),包含:
vision_model.embeddings.*:patch 嵌入、位置编码、class embedding;vision_model.encoder.layers.0~44.*:45 层 ViT 的注意力(qkv、q/k_norm、proj)与 MLP(fc1/fc2)、归一化;mlp1.0/1/3.*:视觉特征到语言模型维度的投影层。
others.safetensors(仅 3 条记录):因为 embed_tokens、lm_head 和最终 norm 不属于任何一层,被单独存放:
language_model.model.embed_tokens.weight—— 输入词嵌入;language_model.lm_head.weight—— 输出词表投影;language_model.model.norm.weight—— 最后一层 RMSNorm。
这也解释了名字里的 241B:5.5B 视觉 + 235.1B 语言 ≈ 240.7B 总参数,bf16 精度下磁盘占用约 470 GB。
五、index.json 全解:37540 条映射是怎么工作的
model.safetensors.index.json 是 Hugging Face 生态的"总目录",结构极简,只有两个顶层字段:
metadata:本仓库为空{};weight_map:37540 个"参数全名" → "所在文件名"的键值对。
举几条真实记录感受一下:
"language_model.model.layers.0.mlp.experts.0.up_proj.weight" → "layer-0-ep-0-of-1.safetensors"
"vision_model.encoder.layers.44.attn.proj.bias" → "vision.safetensors"
"language_model.lm_head.weight" → "others.safetensors"
加载器(如 transformers 的 from_pretrained)的工作流程就是:先读 index.json 拿到完整参数清单,再按需打开对应文件、用零拷贝 mmap 取出该张量的字节段——不需要把 470 GB 全部读进内存,这正是 safetensors 相比传统 pickle 格式的核心优势。
验证一个小技巧:数一数 index.json 里指向 layer-0-ep-0-of-1.safetensors 的条目数,应该是 393;去重后一共能数出 96 个文件名,与本目录文件一一对应,没有"孤儿文件"。
六、一个容易踩的坑:Git LFS 指针文件
如果你 clone 后看到 layer-*.safetensors 只有 135 字节,别慌——这不是权重,而是 Git LFS 指针,内容形如:
version https://git-lfs.github.com/spec/v1
oid sha256:d1c5964ec3bc...
size 4975564552
真正的数据存在 LFS 服务端。.gitattributes 中 *.safetensors filter=lfs ... 规则声明了这类文件必须走 LFS。正确做法是安装 git-lfs 并执行 git lfs pull(或 git lfs install && git lfs fetch --all),把指针文件替换回真实的 GB 级权重。下载前可用 git lfs ls-files 核对每个文件的 sha256 与大小是否与指针声明一致,确保完整性。
七、快速自检清单
拿到权重目录后,建议按这个顺序做 3 分钟体检:
- 数量:
ls layer-*.safetensors | wc -l应输出 94; - 大小:确认文件不是 135 字节的 LFS 指针(每个 layer 文件应约 4.98 GB);
- 索引:打开 model.safetensors.index.json 抽查任意参数名,确认其指向的文件真实存在。
三项全部通过,就可以放心用 modeling_internvl_chat.py 中定义的 InternVLChatModel 加载这份预训练权重,开始你自己的视觉-语言实验了。
常见问题 FAQ
Q:为什么不是一个 470 GB 的大文件?
单文件太大无法多线程下载、难以分布式读取;按层切分后每卡/每节点只需取自己需要的 layer-N 文件,配合 index.json 即可高效组装完整模型。
Q:ep-0-of-1 以后会不会变成 of-2、of-4?
当前权重未做专家切分(of-1);若官方发布专家并行切分版本,同一层会拆成 ep-0-of-2、ep-1-of-2 等多份,index.json 会同步更新映射,加载逻辑不变。
Q:这份 Pretrained 权重和 Instruct 版有什么区别? 本仓库是 InternVL3.5 训练流水线的 CPT(多模态继续预训练)阶段产物,见 README.md 中的各阶段说明;未做 SFT 与强化学习对齐,适合研究与二次训练,而非直接对话。
一句话总结:94 个 layer-*.safetensors = 94 层 MoE 解码器逐层存放(每层 393 个张量),加 1 个视觉编码器、1 个"杂项"文件,再由 model.safetensors.index.json 的 37540 条映射串成 241B 参数的完整拼图。