让Gemma 4学会看图与听音:gemma-skills视觉+音频多模态微调完全教程
让Gemma 4学会看图与听音:gemma-skills视觉+音频多模态微调完全教程
gemma-skills 是 Google 开源的 Gemma 模型技能包,其中的 gemma-trainer 技能提供了一整套本地训练工具:只需准备少量数据,就能对 Gemma 4 完成视觉(看图)与音频(听音)多模态微调。本教程面向新手,带你在消费级显卡上跑通从数据准备到部署的全流程,无需编写复杂的训练代码。
一、仓库结构:先认识 gemma-skills 能做什么
gemma-skills 包含两个核心技能,本文主要用到 gemma-trainer:
| 技能 | 用途 | 入口文档 |
|---|---|---|
gemma-dev |
应用开发、模型选型、部署工作流 | skills/gemma-dev/SKILL.md |
gemma-trainer |
SFT / DPO / 奖励建模 / 多模态微调 / GGUF 转换 | skills/gemma-trainer/SKILL.md |
多模态微调的核心内容就写在 SKILL.md 的"Multimodal Fine-Tuning (Vision & Audio)"一节:Gemma 4 原生支持多模态,视觉和音频微调都通过 SFT(监督微调)+ QLoRA 完成。
如何获取仓库
git clone https://gitcode.com/gh_mirrors/ge/gemma-skills
cd gemma-skills/skills/gemma-trainer
二、先选对模型:Gemma 4 视觉与音频能力对照表
微调前必须先确认模型支持哪种模态,选错模型会直接报错。模型选型依据见 skills/gemma-dev/SKILL.md:
| 模型 | 视觉输入 | 音频输入 | 上下文 | 适用场景 |
|---|---|---|---|---|
| Gemma 4 E2B / E4B | ✅ | ✅ | 128K | 移动端 NPU、边缘设备 |
| Gemma 4 12B | ✅ | ✅ | 256K | 笔记本与消费级显卡推理 |
| Gemma 4 26B A4B / 31B | ✅ | ❌ | 256K | 复杂视觉推理、海量文档分析 |
📌 新手速记:
- 只做"看图":E2B/E4B/12B/26B/31B 都可以;
- 要做"听音":只能选 E2B / E4B / 12B(音频微调的硬性限制)。
三、数据准备:视觉与音频 SFT 数据集格式
数据格式错误是训练失败的第一大原因。gemma-skills 要求数据集为 JSON/JSONL,采用对话轮次结构。
视觉 SFT 数据集格式
在用户消息中放入 image 类型的块(本地图片路径),配上一句指令:
{
"messages": [
{"role": "user", "content": [
{"type": "image", "url": "path/to/image.png"},
{"type": "text", "text": "Describe this image."}
]},
{"role": "assistant", "content": [
{"type": "text", "text": "An abstract oil painting with vibrant warm gradients."}
]}
]
}
完整格式规范见 SKILL.md 第 110-127 行。
音频 SFT 数据集格式(16kHz 是硬性要求)
把 image 换成 audio 类型即可,模型要求音频以 16kHz 采样率 处理:
{
"messages": [
{"role": "user", "content": [
{"type": "text", "text": "Describe this audio."},
{"type": "audio", "url": "path/to/audio.wav"}
]},
{"role": "assistant", "content": [
{"type": "text", "text": "This is an audio file of a bird chirping."}
]}
]
}
🎯 好消息:你不需要自己重采样。sft_train.py 内置了 librosa.load(path, sr=16000, mono=True),会自动把任意音频统一加载为 16kHz 单声道波形,再交给 processor 生成 input_features。
用 dataset_prep.py 一键校验数据
训练前先用官方校验工具检查格式与 token 长度(格式问题 = 训练翻车的头号原因):
python assets/dataset_prep.py --file your_data.jsonl --task sft --max-len 4096
参数说明见 dataset_prep.py 命令行定义。该校验器同时支持 sft / dpo / reward 三种任务类型。
四、启动多模态 SFT 微调:一条命令搞定
gemma-trainer 自带统一训练脚本 assets/sft_train.py,它会自动检测并优先使用 Unsloth(原生支持 Gemma 4,显存省 70%、速度快 2 倍),未安装时回退到标准 Hugging Face TRL + PEFT + QLoRA 方案(4-bit 量化,让 12B/31B 模型也能塞进消费级显存)。
启动视觉/音频微调只需:
python assets/sft_train.py \
--model google/gemma-4-12B-it \
--dataset your_data.jsonl \
--max-len 4096 \
--lora-r 16 --lora-alpha 32 \
--epochs 3 --batch-size 2
完整参数见 sft_train.py 的 argparse 定义。脚本内部的关键细节值得了解:
- 自定义数据整理器:collate 函数 会自动收集 batch 中的图片与音频,调用 processor 完成多模态编码;
- 损失掩码:只有模型回复部分参与损失计算,提示词被自动屏蔽(见 L241-L266);
- 音频依赖:数据集含音频块时会检查
librosa,缺失时提示pip install librosa(见 L174-L181)。
五、关键参数与调优技巧
| 参数 | 推荐值 | 说明 |
|---|---|---|
--lora-r |
16 或 32 | 秩越高捕捉复杂行为越好,但更吃显存 |
--lora-alpha |
32 或 64 | 经验法则:alpha = 2 × r |
--lr |
2e-4 | QLoRA 学习率;全参微调用 2e-5 |
--max-len |
2048 ~ 8192 | 虽然 Gemma 4 支持 256K 上下文,但本地训练建议限制在 2K-8K 防止 OOM |
--batch-size |
2 起步 | 显存不足时优先降到 1 |
--force-hf |
— | 强制使用标准 HF 训练(对比实验用) |
--force-no-qlora |
— | 显存充足时可关闭 4-bit 量化 |
⚠️ 防 OOM 三连:调小 --max-len → 调小 --batch-size → 确认 QLoRA 已启用(默认启用)。
六、进阶路线:从微调模型到端侧部署
微调完成后,gemma-trainer 还覆盖了下游完整链路:
- 风格对齐(DPO):若想让微调后的模型回复更符合你的语气/风格,先完成 SFT,再用 assets/dpo_train.py 跑偏好对齐(
beta建议 0.1)。 - 奖励建模:用 assets/reward_train.py 训练一个给回复打分的评估模型。
- 蒸馏小模型:用大模型(如 31B)生成高质量数据,再蒸馏到 Gemma 4 E2B 等轻量模型,工具为 assets/distill_dataset.py。
- 部署:Unsloth 训练结果可原生导出 GGUF 供 llama.cpp/LM Studio 使用;E2B/E4B 还可转为 LiteRT-LM 格式,部署到手机、Web 与 IoT 设备(CPU/GPU/NPU 加速)。
七、新手常见问题排查清单
| 症状 | 原因与解法 |
|---|---|
报 librosa 缺失 |
音频微调必须安装:pip install librosa |
报 torchvision 缺失 |
AutoProcessor 依赖它:pip install torchvision |
| 训练时 OOM | 降低 --max-len 与 --batch-size,确认 QLoRA 开启 |
| 音频输出异常 | 检查数据集块类型是否为 audio,确认音频文件路径可达 |
| 效果不佳 | 先用 dataset_prep.py 校验格式,确认已使用 apply_chat_template 生成的对话模板 |
🎓 总结:gemma-skills 把"让 Gemma 4 学会看图与听音"这件事压缩成了三步——选对模型 → 按格式准备数据 → 一条命令启动 QLoRA 微调。跟着 skills/gemma-trainer/SKILL.md 的指引,即使没有大规模算力,也能在单张消费级显卡上拥有自己的多模态 Gemma 模型。