granite-4.0-h-tiny-base-unsloth-bnb-4bit 微调指南:用 Unsloth QLoRA 打造垂直领域专属 Granite 4.0 小模型
granite-4.0-h-tiny-base-unsloth-bnb-4bit 微调指南:用 Unsloth QLoRA 打造垂直领域专属 Granite 4.0 小模型
本文带你快速上手 granite-4.0-h-tiny-base-unsloth-bnb-4bit 模型:这是 IBM Granite 4.0 H Tiny Base 小语言模型的 Unsloth 4-bit(NF4)量化版,专为用 QLoRA 微调打造垂直领域专属模型而准备。它只有约 13.7GB 体积,单张消费级显卡即可加载并微调,是新手低成本定制 AI 大模型的高性价比选择。
为什么选这个 4-bit 量化版模型微调?
🤔 想给 Granite 4.0 做微调,直接加载 7B 参数的原始模型往往需要 16GB 以上显存,而本仓库由 Unsloth 使用 bitsandbytes NF4 量化(4-bit + 双重量化)重新打包,带来三个好处:
- 显存占用大幅降低:权重体积从 BF16 的约 14GB 压缩后,单卡 16GB 显存即可承载 QLoRA 训练;
- 精度几乎无损:NF4 + Double Quantization 是目前 QLoRA 微调的黄金组合,计算时仍用
bfloat16精度; - 开箱即用:量化配置已写好,加载时自动生效,新手无需手写任何量化参数。
💡 本模型是 Base(基座)模型,未做安全对齐与指令微调,非常适合通过 SFT(监督微调)改造成你自己的行业助手、客服机器人或代码补全模型。
模型档案:关键参数速览
结合 config.json 与 model.safetensors.index.json,Granite 4.0 H Tiny 的核心规格如下:
| 项目 | 参数 | 说明 |
|---|---|---|
| 架构类型 | GraniteMoeHybridForCausalLM | Mamba2 + Attention 混合 MoE 架构 |
| 总参数量 | 约 6.94B | 实际激活仅约 1B,推理快 |
| 隐藏层 | 40 层(4 层 Attention + 36 层 Mamba2) | 混合状态空间架构,长文本更省显存 |
| 专家数量 | 64 个专家 / 每次激活 6 个 | MoE 稀疏激活 + 共享专家 |
| 上下文长度 | 128K(131072 tokens) | 见 generation_config.json |
| 词表大小 | 100352 | 见 vocab.json |
| 量化方式 | NF4 4-bit + Double Quant | 见 config.json |
| 计算精度 | bfloat16 | 微调训练时自动使用 |
| 支持语言 | 中、英、日、德、法、西、韩等 12 种 | 详见 README.md |
✅ 1B 激活参数 + Mamba2 结构意味着:推理和微调速度远超同规模纯 Transformer 模型,非常适合作为垂直领域"专属小模型"的底子。
仓库文件结构一览
下载前可以先了解每个文件的作用,方便排错:
| 文件 | 作用 |
|---|---|
| config.json | 模型架构与量化配置(bitsandbytes NF4) |
| model-00001-of-00003.safetensors 等 3 个分片 | 量化后的模型权重,共约 13.7GB |
| model.safetensors.index.json | 权重索引与参数统计 |
| tokenizer.json / vocab.json / merges.txt | 分词器词表与合并规则 |
| tokenizer_config.json | 特殊 token 定义(含 FIM 代码补全前缀/后缀) |
| generation_config.json | 生成参数:max_length: 131072 |
| README.md | 模型介绍、评测成绩与使用方法 |
环境准备与一键下载模型
第 1 步:安装依赖(建议 Python 3.10+,NVIDIA 显卡)
pip install "unsloth[colab-notebook]" torch torchvision torchaudio
pip install transformers accelerate
第 2 步:获取模型
推荐直接从模型仓库下载(自动走 Git LFS 拉取权重分片):
git clone https://gitcode.com/hf_mirrors/unsloth/granite-4.0-h-tiny-base-unsloth-bnb-4bit
也可以让 transformers 在训练时自动缓存下载,无需手动 clone。
第 3 步:验证模型可正常加载
from transformers import AutoModelForCausalLM, AutoTokenizer
model_path = "granite-4.0-h-tiny-base-unsloth-bnb-4bit"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="cuda")
print(model.generate(**tokenizer("The capital of France is", return_tensors="pt").to("cuda"), max_new_tokens=10))
能打印出补全结果,说明量化权重与分词器都工作正常,可以开始微调了。🎉
用 Unsloth QLoRA 四步完成微调
Unsloth 的最大优势是把 QLoRA 流程压缩到了十几行代码,且训练速度约为传统方案的 2 倍。以下是面向"指令对话模型"的标准流程:
- 准备数据:把领域语料整理成 Alpaca 格式 JSON(
instruction/output两列即可),问答对、工单记录、行业文档切片都是好素材; - 加载模型:
FastLanguageModel.from_pretrained(model_path, load_in_4bit=True),自动启用本仓库已内置的 NF4 量化配置; - 挂载 LoRA:
model.get_peft_model(r=16, target_modules=["q_proj","k_proj","v_proj","o_proj","gate_proj","up_proj","down_proj"]),LoRA 秩(rank)新手建议从 16 起步; - 启动训练:用
SFTTrainer设置per_device_train_batch_size=2、gradient_accumulation_steps=8、学习率2e-4,训练 1~3 个 epoch。
⚠️ 两个新手最常踩的坑:
- 显存不够:优先调小
max_seq_length(128K 是上限,日常微调 2048~4096 足够),再降 batch size; - 输出不稳定:这是 Base 模型,请确保训练数据里带上完整的"用户提问 → 助手回答"对话模板,而不是裸文本。
量化配置深度解析:为什么跳过了这些层?
打开 config.json,你会发现 quantization_config 里有一长串 llm_int8_skip_modules:embed_tokens、lm_head、各层的 mamba 与 shared_mlp 等模块都没有被 4-bit 量化,而是保留更高精度。
这是因为:
- 输入/输出嵌入层(
embed_tokens、lm_head)直接决定 token 概率分布,量化会明显损伤生成质量; - Mamba2 状态层对数值精度敏感,Unsloth 将其跳过以保证混合架构训练稳定;
- 配合
bnb_4bit_use_double_quant: true,量化矩阵本身也被二次压缩,进一步省显存。
💬 通俗理解:量化只"压缩"了占比最大的专家线性层,而把最脆弱的模块完整保留——这就是该仓库"体积小却不掉点"的关键。
常见问题 FAQ
Q1:没有 NVIDIA 显卡能微调吗?
可以但很慢。CPU 加载时去掉 device_map="cuda";更推荐租用 16GB 显存的云 GPU,QLoRA 微调 1B 激活模型非常划算。
Q2:能用来做代码补全吗?
可以。本模型原生支持 FIM(Fill-in-the-Middle)代码补全,tokenizer_config.json 中已内置 <|fim_prefix|>、<|fim_middle|>、<|fim_middle|> 等前缀/后缀特殊 token 及 <|filename|>、<|reponame|> 标记,训练代码数据时可利用这些 token 提升补全效果。
Q3:微调后如何导出发布?
用 Unsloth 的 model.save_pretrained_merged() 可导出完整合并权重;若只想发布增量适配器,保存 LoRA 权重(通常仅几十 MB)供他人复用基座。
Q4:能微调中文吗? 能。官方支持 12 种语言且明确提示"可微调至更多语言",中文语料 SFT 完全可行。
总结
granite-4.0-h-tiny-base-unsloth-bnb-4bit 把 Granite 4.0 混合 MoE 架构 + 128K 长上下文 + NF4 量化 打包成了对新手极度友好的 QLoRA 微调基座:13.7GB 的体积、1B 激活参数的速度,让你在消费级显卡上就能训练出懂自己业务的专属小模型。按"装环境 → 下载 → 准备数据 → QLoRA 训练"四步走,一晚上即可收获第一版垂直领域模型。🚀