tiny-random-glm4的config.json逐行解读:看懂GLM-4架构的8个核心超参数

原创2026-11-11 19:37:231,945 阅读

tiny-random-glm4的config.json逐行解读:看懂GLM-4架构的8个核心超参数

tiny-random-glm4 是面向 GLM-4 大语言模型的微型随机权重测试模型,专为 CI 测试和框架集成验证而生。本文带你逐行解读 config.json 中的 hidden_size、num_hidden_layers、num_key_value_heads 等 8 个核心超参数,用最通俗的方式看懂 GLM-4 的 Transformer 架构设计,即使你是刚入门的新手也能轻松上手。

一、tiny-random-glm4 是什么?

先说结论:这不是一个"能聊天"的模型,而是一个结构完整、参数随机的"骨架版" GLM-4。

它的定位类似"空壳样板间":

  • 架构与正式版 GLM-4 完全一致:层数、注意力结构、位置编码方案、词表规模都按真实 GLM-4 配置;
  • 尺寸被极限压缩:把 hidden_size 等维度缩到极小,model.safetensors 全文仅约 133 字节(model.safetensors);
  • 用途:供 transformers 等框架做加载、推理链路、量化编译的自动化测试,无需下载几十 GB 的完整权重。

仓库文件结构一目了然:

文件 作用
config.json 模型结构与超参数定义(本文主角)
model.safetensors 随机初始化的模型权重(极小)
generation_config.json 生成默认配置(EOS 等特殊 token)
tokenizer.json、tokenizer_config.json 词表与分词器配置,与正式 GLM-4 同款
special_tokens_map.json 特殊 token 映射表
chat_template.jinja 多轮对话模板
README.md 项目说明(Apache-2.0 许可)

二、config.json 全景速览

打开 config.json 你会发现它只有 30 来个字段。先看整体结构(config.json):

{
  "architectures": ["Glm4Model"],
  "hidden_size": 32,
  "num_hidden_layers": 2,
  "num_attention_heads": 4,
  ...
  "vocab_size": 151552
}

字段可归为四大类:

  • 🔧 规模类:hidden_size、num_hidden_layers、intermediate_size、vocab_size
  • 🧠 注意力类:num_attention_heads、num_key_value_heads、head_dim、attention_bias、attention_dropout
  • 📍 位置编码类:max_position_embeddings、rope_theta、partial_rotary_factor
  • ⚙️ 精度与开关类:torch_dtype、rms_norm_eps、hidden_act、use_cache、tie_word_embeddings

下面逐个拆解 8 个最值得理解的超参数。

三、8 个核心超参数逐一解读

1. model_type 与 architectures:模型的"身份证"

"architectures": ["Glm4Model"],
"model_type": "glm4"

对应 config.json 中的两个字段。model_type 告诉加载框架"请按 GLM-4 的结构来构建网络",architectures 则指定具体的模型类名。框架根据这两个字段就能自动匹配对应的建模代码,无需你手动指定——这也是所有 Hugging Face 模型通用的约定。

2. hidden_size:神经网络的"宽度"

"hidden_size": 32

hidden_size 是每个 token 在每一层内部被表示成的向量维度(config.json)。你可以理解为"信息高速公路的车道数":

  • 正式 GLM-4 中它是数千级别的宽度;
  • 而 tiny 版只有 32,车道够"通行"即可,所以模型才能缩到几百字节;
  • 注意它与注意力参数自洽:num_attention_heads (4) × head_dim (8) = 32,正好等于 hidden_size。

📌 新手要点:hidden_size 决定了单 token 的"表达能力容量",是理解模型尺寸最关键的数字。

3. num_hidden_layers:Transformer 的"层数"

"num_hidden_layers": 2

Transformer 是"堆叠"结构,一层包含注意力 + 前馈网络(config.json)。GLM-4 正式版有几十层,tiny 版只保留 2 层——这是它最核心的"瘦身"手段之一。

层数直接影响:

  • 计算深度:文本要"过"几轮加工;
  • 参数量:层数是参数量的线性因子;
  • 测试覆盖度:2 层足以验证"多层循环"代码路径是否正确,又足够快。

4. num_attention_heads / num_key_value_heads / head_dim:GQA 注意力结构

"num_attention_heads": 4,
"num_key_value_heads": 2,
"head_dim": 8

这三个字段定义了 GLM-4 使用的 GQA(分组查询注意力)(config.json):

参数 值 含义
num_attention_heads 4 Query 注意力头数量
num_key_value_heads 2 Key/Value 头数量(4÷2=2 组共享)
head_dim 8 每个注意力头的向量维度

当 num_key_value_heads < num_attention_heads 时就是 GQA:多个 Query 头共享一组的 K/V 缓存。好处是推理时 KV cache 减半,长文本生成的显存占用大幅下降。GLM-4、LLaMA 3 等新一代模型普遍采用这一设计。

另外两个小开关(config.json):

  • "attention_bias": true:注意力投影层带偏置项;
  • "attention_dropout": 0.0:注意力不丢分(训练常用 0.1,此处为关闭状态)。

5. intermediate_size:前馈网络的"扩宽维度"

"intermediate_size": 13696

每个 Transformer 层里除了注意力,还有一个两层前馈网络(FFN),它的内部维度就是 intermediate_size(config.json)。

有意思的是:这个值是 13696,和正式 GLM-4 完全相同,没有跟着 hidden_size 一起缩小。也就是说这个测试模型在 FFN 上"头重脚轻"——它保留了真实比例关系供测试,但整体参数依然很小。FFN 通常贡献了模型 2/3 的参数量,是模型"知识容量"的主要来源。

6. max_position_embeddings / rope_theta / partial_rotary_factor:128K 长上下文

"max_position_embeddings": 131072,
"rope_theta": 10000.0,
"partial_rotary_factor": 0.5

这三个字段定义了 RoPE(旋转位置编码),是 GLM-4 支持超长上下文的关键(config.json):

  • max_position_embeddings = 131072:即 128K token 上下文长度(tokenizer_config.json 中 model_max_length: 128000 与之呼应);
  • rope_theta = 10000.0:旋转角度的基础频率,控制位置信号的变化节奏;
  • partial_rotary_factor = 0.5:半旋转策略——只对一半维度做 RoPE 旋转,另一半保持原样。这是 GLM-4 的特色设计,在长序列外推上更稳健。

📌 即使模型只有 2 层、32 维宽,它的位置编码配置也完整复刻了正式版,这正是"骨架模型"的价值。

7. hidden_act 与 rms_norm_eps:激活与归一化

"hidden_act": "silu",
"rms_norm_eps": 1.5625e-07
  • hidden_act: "silu":FFN 使用 SiLU 激活函数(config.json)。SiLU 是 LLaMA/GLM 系模型的标配,比 ReLU 更平滑,训练更稳定;
  • rms_norm_eps: 1.5625e-07:GLM-4 使用 RMSNorm(均方根归一化)而非传统 LayerNorm,eps 是防除零的小常数,值越小精度要求越高。

8. vocab_size 与 torch_dtype / use_cache:词表与精度开关

"vocab_size": 151552,
"tie_word_embeddings": false,
"torch_dtype": "float32",
"use_cache": true

收尾的一组实用字段(config.json):

参数 值 解读
vocab_size 151552 词表规模,与正式版 GLM-4 完全一致,分词器可直接复用
tie_word_embeddings false 输入/输出 embedding 不共享权重
torch_dtype float32 本测试模型以 32 位浮点存储,保证数值稳定
use_cache true 推理时缓存 KV,加速自回归生成

配套的 eos_token_id(151329/151336/151338,即 `

登录后查看全文
tiny-random-glm4