0.8GB里藏了什么?Qwen3-30B-A3B-base-mla-topk8-rank128 的288个Delta张量结构深度解析
0.8GB里藏了什么?Qwen3-30B-A3B-base-mla-topk8-rank128 的288个Delta张量结构深度解析
Qwen3-30B-A3B-base-mla-topk8-rank128 是一个专为 Qwen/Qwen3-30B-A3B-Base 基础模型准备的 MLA(Multi-head Latent Attention)注意力增量权重包。它只包含 288 个与注意力模块相关的 Delta 张量,总大小约 0.80 GiB——却能"换掉"一个 30B 级 MoE 模型的全部注意力结构。这个包不是独立完整模型,而是一份精挑细选的"注意力改造补丁"。
为什么只有 0.8GB?先搞懂"attention-only"
🤔 一个 30B 参数的模型,权重文件通常要几十 GB,为什么这里只有 0.8GB?
答案就在 README.md 里说得很直白:它只保存"被改动"的部分。
| 对比项 | 完整基础模型 | 本仓库 Delta 包 |
|---|---|---|
| 词嵌入(Embeddings) | ✅ 包含 | ❌ 省略 |
| MoE / MLP 前馈层 | ✅ 包含 | ❌ 省略 |
| 输出投影与 LM Head | ✅ 包含 | ❌ 省略 |
| 注意力投影权重 | 原始 MHA 版本 | ✅ 替换为 MLA 版本 |
| QK-Norm 参数 | 原始版本 | ✅ 更新版本 |
MLAfication(多注意力头 → 潜在注意力)改造只动"注意力"这一块电路:Query/Key 投影、KV 低秩压缩,以及 QK 归一化。其余模块继续沿用基础模型,所以 288 个张量、约 4.3 亿参数、855,278,768 字节(≈815 MiB / 0.80 GiB)就足够了。
288 个 Delta 张量:48层 × 6 个,规律藏不住
打开 manifest.json,两个数字相乘一目了然:
- 层数 48:来自 config.json 中的
num_hidden_layers: 48 - 每层 6 个张量后缀:即 manifest 里列出的 6 种
tensor_suffixes
48 × 6 = 288,正好对上 tensor_count 字段。而且全部 288 个张量都是 BF16 精度(dtypes: { "BF16": 288 }),没有任何混合格式。
每个 Transformer 层都会重复同样的"六件套",这种严格的周期性让结构极易预测:
| 张量后缀 | 所在模块 | 作用(通俗版) |
|---|---|---|
self_attn.q_proj.weight |
Query 投影 | 把隐藏状态变换为 Query 向量,是每层"最大头"的张量 |
self_attn.k_r_proj.weight |
K 旋转投影 | 专门生成 RoPE 旋转部分所需的 Key 分量(对应 rope_topk: 8,每 KV 头 8 维) |
kv_proj.up_kc.weight |
KV 低秩压缩 | 把 Key 的无旋转部分压缩进 rank=128 的"潜在空间" |
kv_proj.up_v.weight |
KV 低秩压缩 | 把 Value 压缩进同一潜在空间 |
kv_proj.down_kv.weight |
KV 低秩解压 | 从潜在空间还原出各 KV 头的 K 与 V |
self_attn.q_norm.weight |
QK-Norm | 对 Query 做逐头 RMS 归一化,稳定训练 |
up(升/压缩)+ down(降/解压)的成对结构,正是低秩分解(rank 128)的典型形态——这也是项目名中 rank128 的由来。
读懂 config.json:MLA 元数据与 RoPE 索引
config.json 不只是常规超参数,它内嵌了一块 mha2mla 元数据,专门供 MLAfication 集成使用:
{
"mha2mla": {
"base_model_name_or_path": "Qwen/Qwen3-30B-A3B-Base",
"checkpoint_type": "attn_only",
"format": "mlafication_delta_v1",
"rank": 128,
"rope_topk": 8,
"variant": "disrms"
}
}
几个值得注意的字段:
rank: 128:KV 潜在压缩的秩,决定 KV 缓存的"体积压缩率"rope_topk: 8:每个 KV 头保留 8 维用于 RoPE 旋转,与k_r_proj的输出维度对应base_model_revision:锁定基础模型的精确版本(1b75feb…),保证 Delta 与底座严格匹配,避免"张冠李戴"rope_indices:一个 48 层 × 8 头 × 4 维 的三层数组,记录每层每个 KV 头使用的 RoPE 频率索引。它是项目集成时重放注意力计算的"坐标表",属于该仓库特有的清洗后元数据
其余常规配置(hidden_size: 2048、num_attention_heads: 32、num_key_value_heads: 4、num_experts: 128、max_position_embeddings: 32768)保持 Qwen3 MoE 架构原样,说明模型骨架没有被改动。
manifest.json:一份可核验的"出生证明"
权重文件要不要信?manifest.json 给出了完整溯源链:
repo_id/base_model/base_model_revision:来源与底座版本training_checkpoint_step: 8000:来自训练过程第 8000 步的收敛点model_safetensors_bytes: 855278768:精确到字节的文件大小model_safetensors_sha256:SHA-256 校验和,逐字节验证文件完整性tensor_count: 288:与"48×6"的结构完全吻合
💡 一个小细节:仓库里的 model.safetensors 文件本身只是一个 Git LFS 指针(不到 200 字节),真正的 855,278,768 字节权重内容托管在 LFS 上,克隆时会自动拉取。指针中的 oid sha256 与 manifest 里的校验和一致,双重印证了文件未被动过。
如何加载:strict=False 是关键一步
⚠️ 不能用常规的 AutoModelForCausalLM.from_pretrained(...) 直接加载本仓库——它不是完整模型,会因大量缺失张量而失败。正确姿势分两步:
- 先"打补丁":基于基础模型 Qwen3-30B-A3B-Base 实例化 MLAfication 改造后的架构(把 MHA 注意力换成 MLA 结构)
- 再加载 Delta:用
strict=False载入增量权重
from safetensors.torch import load_file
delta = load_file("model.safetensors")
mla_model.load_state_dict(delta, strict=False)
strict=False 的意义在于:Delta 只覆盖注意力部分,基础模型中未被改动的嵌入、MoE、LM Head 等参数保持原值,缺什么补什么,各就各位。
快速上手清单
✅ 三步用起来:
- 获取底座:先准备好 Qwen3-30B-A3B-Base 完整权重(revision
1b75feb…) - 改造架构:按 README.md 指引用 MLAfication 实现从基础模型构建 MLA 架构,并读取 config.json 中的
rope_indices等元数据 - 加载 Delta:
load_state_dict(delta, strict=False)合入 288 个注意力张量
📌 核对清单:文件字节数 855278768、SHA-256 与 manifest.json 一致、张量数 288、全部 BF16——四项全对才能放心推理。
写在最后
这份 0.80 GiB 的注意力增量权重展示了大模型改造的另一种思路:与其重新训练整个 30B 模型,不如只替换"电路"中需要升级的注意力模块,把 KV 压缩进 rank=128 的潜在空间。288 个张量、48 层的整齐矩阵、6 种角色各异的投影与归一化,加上逐层 RoPE 索引表和可校验的完整性清单,构成了一个结构清晰、来源可溯、加载路径明确的 Delta 包。
- 项目说明:README.md
- 架构与 RoPE 元数据:config.json
- 权重完整性清单:manifest.json
- 增量权重文件:model.safetensors
- 许可协议(Apache 2.0):LICENSE