tiny-random-glm4的config.json逐行解读:看懂GLM-4架构的8个核心超参数
tiny-random-glm4的config.json逐行解读:看懂GLM-4架构的8个核心超参数
tiny-random-glm4 是面向 GLM-4 大语言模型的微型随机权重测试模型,专为 CI 测试和框架集成验证而生。本文带你逐行解读 config.json 中的 hidden_size、num_hidden_layers、num_key_value_heads 等 8 个核心超参数,用最通俗的方式看懂 GLM-4 的 Transformer 架构设计,即使你是刚入门的新手也能轻松上手。
一、tiny-random-glm4 是什么?
先说结论:这不是一个"能聊天"的模型,而是一个结构完整、参数随机的"骨架版" GLM-4。
它的定位类似"空壳样板间":
- 架构与正式版 GLM-4 完全一致:层数、注意力结构、位置编码方案、词表规模都按真实 GLM-4 配置;
- 尺寸被极限压缩:把
hidden_size等维度缩到极小,model.safetensors全文仅约 133 字节(model.safetensors); - 用途:供 transformers 等框架做加载、推理链路、量化编译的自动化测试,无需下载几十 GB 的完整权重。
仓库文件结构一目了然:
| 文件 | 作用 |
|---|---|
| config.json | 模型结构与超参数定义(本文主角) |
| model.safetensors | 随机初始化的模型权重(极小) |
| generation_config.json | 生成默认配置(EOS 等特殊 token) |
| tokenizer.json、tokenizer_config.json | 词表与分词器配置,与正式 GLM-4 同款 |
| special_tokens_map.json | 特殊 token 映射表 |
| chat_template.jinja | 多轮对话模板 |
| README.md | 项目说明(Apache-2.0 许可) |
二、config.json 全景速览
打开 config.json 你会发现它只有 30 来个字段。先看整体结构(config.json):
{
"architectures": ["Glm4Model"],
"hidden_size": 32,
"num_hidden_layers": 2,
"num_attention_heads": 4,
...
"vocab_size": 151552
}
字段可归为四大类:
- 🔧 规模类:
hidden_size、num_hidden_layers、intermediate_size、vocab_size - 🧠 注意力类:
num_attention_heads、num_key_value_heads、head_dim、attention_bias、attention_dropout - 📍 位置编码类:
max_position_embeddings、rope_theta、partial_rotary_factor - ⚙️ 精度与开关类:
torch_dtype、rms_norm_eps、hidden_act、use_cache、tie_word_embeddings
下面逐个拆解 8 个最值得理解的超参数。
三、8 个核心超参数逐一解读
1. model_type 与 architectures:模型的"身份证"
"architectures": ["Glm4Model"],
"model_type": "glm4"
对应 config.json 中的两个字段。model_type 告诉加载框架"请按 GLM-4 的结构来构建网络",architectures 则指定具体的模型类名。框架根据这两个字段就能自动匹配对应的建模代码,无需你手动指定——这也是所有 Hugging Face 模型通用的约定。
2. hidden_size:神经网络的"宽度"
"hidden_size": 32
hidden_size 是每个 token 在每一层内部被表示成的向量维度(config.json)。你可以理解为"信息高速公路的车道数":
- 正式 GLM-4 中它是数千级别的宽度;
- 而 tiny 版只有 32,车道够"通行"即可,所以模型才能缩到几百字节;
- 注意它与注意力参数自洽:
num_attention_heads (4) × head_dim (8) = 32,正好等于 hidden_size。
📌 新手要点:hidden_size 决定了单 token 的"表达能力容量",是理解模型尺寸最关键的数字。
3. num_hidden_layers:Transformer 的"层数"
"num_hidden_layers": 2
Transformer 是"堆叠"结构,一层包含注意力 + 前馈网络(config.json)。GLM-4 正式版有几十层,tiny 版只保留 2 层——这是它最核心的"瘦身"手段之一。
层数直接影响:
- 计算深度:文本要"过"几轮加工;
- 参数量:层数是参数量的线性因子;
- 测试覆盖度:2 层足以验证"多层循环"代码路径是否正确,又足够快。
4. num_attention_heads / num_key_value_heads / head_dim:GQA 注意力结构
"num_attention_heads": 4,
"num_key_value_heads": 2,
"head_dim": 8
这三个字段定义了 GLM-4 使用的 GQA(分组查询注意力)(config.json):
| 参数 | 值 | 含义 |
|---|---|---|
num_attention_heads |
4 | Query 注意力头数量 |
num_key_value_heads |
2 | Key/Value 头数量(4÷2=2 组共享) |
head_dim |
8 | 每个注意力头的向量维度 |
当 num_key_value_heads < num_attention_heads 时就是 GQA:多个 Query 头共享一组的 K/V 缓存。好处是推理时 KV cache 减半,长文本生成的显存占用大幅下降。GLM-4、LLaMA 3 等新一代模型普遍采用这一设计。
另外两个小开关(config.json):
"attention_bias": true:注意力投影层带偏置项;"attention_dropout": 0.0:注意力不丢分(训练常用 0.1,此处为关闭状态)。
5. intermediate_size:前馈网络的"扩宽维度"
"intermediate_size": 13696
每个 Transformer 层里除了注意力,还有一个两层前馈网络(FFN),它的内部维度就是 intermediate_size(config.json)。
有意思的是:这个值是 13696,和正式 GLM-4 完全相同,没有跟着 hidden_size 一起缩小。也就是说这个测试模型在 FFN 上"头重脚轻"——它保留了真实比例关系供测试,但整体参数依然很小。FFN 通常贡献了模型 2/3 的参数量,是模型"知识容量"的主要来源。
6. max_position_embeddings / rope_theta / partial_rotary_factor:128K 长上下文
"max_position_embeddings": 131072,
"rope_theta": 10000.0,
"partial_rotary_factor": 0.5
这三个字段定义了 RoPE(旋转位置编码),是 GLM-4 支持超长上下文的关键(config.json):
max_position_embeddings = 131072:即 128K token 上下文长度(tokenizer_config.json 中model_max_length: 128000与之呼应);rope_theta = 10000.0:旋转角度的基础频率,控制位置信号的变化节奏;partial_rotary_factor = 0.5:半旋转策略——只对一半维度做 RoPE 旋转,另一半保持原样。这是 GLM-4 的特色设计,在长序列外推上更稳健。
📌 即使模型只有 2 层、32 维宽,它的位置编码配置也完整复刻了正式版,这正是"骨架模型"的价值。
7. hidden_act 与 rms_norm_eps:激活与归一化
"hidden_act": "silu",
"rms_norm_eps": 1.5625e-07
hidden_act: "silu":FFN 使用 SiLU 激活函数(config.json)。SiLU 是 LLaMA/GLM 系模型的标配,比 ReLU 更平滑,训练更稳定;rms_norm_eps: 1.5625e-07:GLM-4 使用 RMSNorm(均方根归一化)而非传统 LayerNorm,eps是防除零的小常数,值越小精度要求越高。
8. vocab_size 与 torch_dtype / use_cache:词表与精度开关
"vocab_size": 151552,
"tie_word_embeddings": false,
"torch_dtype": "float32",
"use_cache": true
收尾的一组实用字段(config.json):
| 参数 | 值 | 解读 |
|---|---|---|
vocab_size |
151552 | 词表规模,与正式版 GLM-4 完全一致,分词器可直接复用 |
tie_word_embeddings |
false | 输入/输出 embedding 不共享权重 |
torch_dtype |
float32 | 本测试模型以 32 位浮点存储,保证数值稳定 |
use_cache |
true | 推理时缓存 KV,加速自回归生成 |
配套的 eos_token_id(151329/151336/151338,即 `