granite-4.0-h-tiny-base-unsloth-bnb-4bit 配置全解析:config.json 里每个关键参数到底意味着什么?

原创2026-10-19 21:28:161,836 阅读

granite-4.0-h-tiny-base-unsloth-bnb-4bit 配置全解析:config.json 里每个关键参数到底意味着什么?

granite-4.0-h-tiny-base-unsloth-bnb-4bit 是 IBM Granite 4.0 H Tiny 基座大模型(约 7B 总参数、MoE 混合架构、128K 长上下文)由 Unsloth 发布的 bitsandbytes NF4 4-bit 量化版本。本文带你逐行读懂 config.json 里每个关键参数到底意味着什么——从 MoE 专家数量到 4-bit 量化配置,新手也能一次看懂这个模型「长什么样」,并快速判断自己的显卡能不能跑得动。

🧩 模型速览:这到底是个什么模型?

在拆参数之前,先用三句话建立整体认知(详见 README.md):

  • 架构:decoder-only 的 MoE + Mamba2 混合架构(GraniteMoeHybridForCausalLM),40 层中 36 层是 Mamba2、仅 4 层是注意力层,兼顾长上下文效率与全局建模能力
  • 规模:总参数约 6.94B,但每个 token 只激活约 1B 参数,推理很轻量
  • 背景:从 0 训练,累计约 23 万亿 token,支持 12 种语言;本项目是其中的 4-bit 量化发行版

💡 项目名里的 unsloth-bnb-4bit 就是「Unsloth + bitsandbytes NF4 4-bit 量化」的缩写,这正是配置文件中 quantization_config 一节的由来。

📋 config.json 核心参数速览表

参数 值 一句话解释
hidden_size 1536 模型主干的隐藏层维度,衡量「信息总线」宽度
num_hidden_layers 40 网络总层数
vocab_size 100352 词表大小,即模型认识多少种「字词」
max_position_embeddings 131072 支持 128K token 的超长上下文
num_local_experts 64 每一层有 64 个 MoE 专家 FFN
num_experts_per_tok 6 每个 token 只激活 6 个专家(稀疏路由)
num_attention_heads / num_key_value_heads 12 / 4 注意力头数,KV 头更少 = GQA 省显存
torch_dtype bfloat16 权重与计算的默认精度

下面按「架构 → MoE → 上下文 → Mamba2」的顺序拆解重点。

40 层里藏着 36 个 Mamba:layer_types 是什么?

layer_types(config.json)是一个长度为 40 的数组,逐层声明该层是 "mamba" 还是 "attention"。可以验证:第 6、16、26、36 层(索引 5/15/25/35)是注意力层,其余 36 层全是 Mamba2。

这种「混合(Hybrid)」设计的意义:Mamba2 层处理局部序列更高效、几乎不随上下文增长吃显存;定期插入的注意力层负责全局信息检索。模型名里的 H 即 Hybrid 之意。

MoE 专家参数:64 选 6 的稀疏路由

MoE(Mixture of Experts)的核心参数都在 config.json:

  • num_local_experts: 64 —— 每层有 64 个「专家」FFN,各管一摊
  • num_experts_per_tok: 6 —— 路由器(router)为每个 token 只挑 6 个专家干活
  • intermediate_size: 512 —— 单个专家的中间层维度(很小,保证单 token 计算量低)
  • shared_intermediate_size: 1024 —— 每层还有一个共享专家,所有 token 都过它,兜底通用能力

总参数 6.94B、激活仅约 1B,就是「64 个专家 × 只开 6 个」的稀疏策略带来的——这也是它显存友好的关键。

128K 长上下文是怎么实现的?

  • max_position_embeddings: 131072:位置编码最大支持 131072 个 token
  • position_embedding_type: "nope":H 系列不采用旋转位置编码 RoPE(rope_scaling: null 即为空),位置信息由 Mamba2 的隐状态自然携带,这是长上下文的底气所在
  • use_cache: true:开启 KV 缓存,生成第 N 个 token 时无需重算前面所有 token,直接决定生成速度

Mamba2 层的关键参数

mamba 参数区 定义了 Mamba2 扫描层的「状态容量」:

参数 值 含义
mamba_d_state 128 隐状态维度,决定 Mamba 的「记忆量」
mamba_n_heads / mamba_d_head 48 / 64 头数与头维,内部展开维度 = 48×64=3072
mamba_expand 2 内部扩展倍数,实际通道数 6144
mamba_d_conv 4 一维卷积核大小(局部平滑)

另外,hidden_act: "silu" + SwiGLU 结构、normalization_function: "rmsnorm"、rms_norm_eps: 1e-05 属于业界标配的激活与归一化配置,保持默认即可。embedding_multiplier: 12、logits_scaling: 6、attention_multiplier、residual_multiplier 等则是训练时的初始化/缩放系数,推理阶段不需要你关心,更不要改动。

🔢 quantization_config 详解:4-bit 量化到底省了什么?

这是项目名 bnb-4bit 的来源,完整配置见 config.json:

"quant_method": "bitsandbytes",
"load_in_4bit": true,
"bnb_4bit_quant_type": "nf4",
"bnb_4bit_use_double_quant": true,
"bnb_4bit_compute_dtype": "bfloat16"

逐项翻译成大白话:

  1. load_in_4bit: true —— 加载模型时通过 bitsandbytes 把权重压到 4-bit,显存占用约为 bf16 的 1/4
  2. bnb_4bit_quant_type: "nf4" —— 采用 NormalFloat4 量化格式,专为正态分布的权重设计,是 4-bit 场景下精度损失最小的方案之一
  3. bnb_4bit_use_double_quant: true —— 「双重量化」:连量化所需的统计常数本身也再压缩一次,额外榨出一点显存
  4. bnb_4bit_compute_dtype: "bfloat16" —— 计算时先把权重反量化回 bf16 再运算,避免低精度直接参与运算带来的质量劣化

还有一个容易被忽略的 llm_int8_skip_modules 列表:它列出了跳过量化、保留全精度的模块,包括 embed_tokens、lm_head、router、各层的 mamba 组件以及部分 shared_mlp/self_attn。思路很直观——参数量小但对输出质量敏感的模块(词嵌入、路由、Mamba 状态参数)不压缩,把 4-bit 火力集中在大的线性层上。

🏷️ 特殊 Token 与 FIM 代码补全

结合 special_tokens_map.json 与 tokenizer_config.json 来看几个关键 token:

Token ID 内容 用途
100257 <|end_of_text|> 同时担任 bos_token_id 和 eos_token_id,标记文本开始/结束
100256 <|pad|> 填充 token,批量推理时对齐长度
100258–100261 `< fim_prefix

配合 tie_word_embeddings: true(输入/输出词嵌入共享权重,省下一份 100352×1536 的参数),词表规模 100352 也体现在 vocab_size 中。

⚙️ generation_config.json 生成配置

generation_config.json 很简洁:

  • max_length: 131072 —— 与模型 128K 上下文对齐
  • bos_token_id / eos_token_id / pad_token_id 与 config.json 保持一致
  • 没有显式设置 temperature、top_p 等采样参数 → 加载后使用 transformers 默认值(贪心解码),需要随机性时在自己的 generate() 调用里覆盖即可

📦 权重文件与磁盘占用

文件 说明
model-00001-of-00003.safetensors 等 3 个分片 模型权重,三个分片合计约 13.7 GB
model.safetensors.index.json 权重分片索引:每个张量存在哪个分片、总计 6.94B 参数一目了然
tokenizer.json / vocab.json / merges.txt 分词器本体与词表

💾 拿到模型的命令:

git clone https://gitcode.com/hf_mirrors/unsloth/granite-4.0-h-tiny-base-unsloth-bnb-4bit

❓ 新手常见问题 FAQ

Q1:我的显卡够跑吗? 4-bit 量化后权重本体约 4 GB,加上激活与 KV 缓存,8 GB 显存可跑短上下文;要吃满 128K 长上下文建议 24 GB 以上,或配合 CPU offload 使用。

Q2:unsloth_fixed: true 是什么? 这是 Unsloth 发布流程的标记,表示该权重经过其工具链处理与校验,属于元信息,加载时无需干预。

Q3:我可以自己改 skip 列表重新量化吗? 可以,但新手不建议:量化策略直接影响输出质量,官方跳过的模块(嵌入、router、mamba 等)恰恰是精度敏感区。

✅ 总结:30 秒记住这份配置

维度 关键结论
架构 40 层 = 36×Mamba2 + 4×Attention 的混合 MoE
效率 64 专家选 6,总参数 6.94B、激活约 1B
上下文 128K(NoPE 位置方案)
量化 bitsandbytes NF4 + 双重量化,计算回退 bf16,敏感模块跳过量
适用 摘要、问答、代码补全(FIM)、长文档处理

理解了 config.json 的每一项,你就具备了挑选、对比和部署 MoE 量化模型的基本功——下次遇到任何模型的配置文件,都可以照这套「架构 → MoE → 上下文 → 量化 → 词表」的思路逐节拆解。

登录后查看全文
granite-4.0-h-tiny-base-unsloth-bnb-4bit