wav2vec2-large-xlsr-cantonese训练实战:单张RTX 3090微调粤语ASR模型的80轮完整过程
wav2vec2-large-xlsr-cantonese训练实战:单张RTX 3090微调粤语ASR模型的80轮完整过程
wav2vec2-large-xlsr-cantonese 是一个面向粤语语音识别(粤语 ASR) 的开源微调模型:作者基于 Meta 的多语言预训练模型 wav2vec2-large-xlsr-53,使用 Common Voice 的 zh-HK 粤语数据集,在单张 RTX 3090 上完成了 80 个 epoch 的微调训练,最终在粤语测试集上取得了 15.11% 的字符错误率(CER)。这篇文章带你完整复盘这套「粤语 ASR 模型微调」的训练配置、数据与全过程监控曲线,新手也能照着思路复现。
一、项目里都有什么:10 个文件的角色速览
这个仓库是典型的 Hugging Face Transformers 模型存档,每个文件各司其职:
| 文件 | 作用 |
|---|---|
| README.md | 项目说明:基座模型、训练方式、CER 结果与使用示例 |
| pytorch_model.bin | 微调后的模型权重(Wav2Vec2ForCTC 架构) |
| config.json | 模型结构超参数:层数、隐层维度、词表大小等 |
| vocab.json | 粤语字符级词表,共 3555 个字符 |
| preprocessor_config.json | 音频特征提取配置:16kHz 单声道输入 |
| tokenizer_config.json | CTC 分词器配置,词分隔符为 | |
| special_tokens_map.json | 特殊符号:<s>、</s>、[UNK]、[PAD] |
| trainer_state.json | 训练全记录:每一步的 loss、学习率、验证集 CER |
| optimizer.pt、scheduler.pt、rng_state.pth、training_args.bin | 优化器状态、学习率调度器、随机数种子与训练参数存档 |
💡 对新手最有价值的两个文件是 config.json(看懂模型结构)和 trainer_state.json(看懂训练全过程),下面都会用到。
二、训练环境与硬件配置:一张 3090 就够用
根据 README.md 的说明,整个训练只用了消费级硬件:
- GPU:单张 NVIDIA RTX 3090(24GB 显存)
- 容器环境:
nvidia/cuda:11.1-cudnn8-develDocker 镜像 - 混合精度:开启 fp16,
fp16_backend指定为 apex - 训练框架:Hugging Face Transformers(4.11.0,见 config.json)
- 训练代码:思路参考社区
ctl/wav2vec2-large-xlsr-cantonese的方案,主要区别是把训练轮数翻倍到 80 epoch
👉 这告诉我们:微调一个 3 亿参数级的语音识别模型,并不一定要多卡集群——单卡 24GB 显存 + 混合精度训练即可跑通完整流程。
三、基座模型、数据集与粤语词表
基座模型:wav2vec2-large-xlsr-53
模型在 Facebook 的多语言自监督预训练模型 wav2vec2-large-xlsr-53 之上微调,它已经在 53 种语言的语音上学到了通用声学特征,微调时只需「教会」它输出粤语文字。关键结构参数(来自 config.json):
| 参数 | 值 | 说明 |
|---|---|---|
hidden_size |
1024 | Transformer 隐层维度 |
num_hidden_layers |
24 | Transformer 层数 |
num_attention_heads |
16 | 注意力头数 |
codevector_dim |
768 | 量化向量维度 |
vocab_size |
3555 | 输出词表大小(粤语字符) |
architectures |
Wav2Vec2ForCTC | 采用 CTC 解码,推理时无需 beam search |
训练数据:Common Voice zh-HK 6.1.0
使用的是 Mozilla Common Voice 开源众包数据集的 zh-HK(粤语)6.1.0 版本,包含训练、验证、测试三个划分。
粤语字符词表:为什么是 3555 个字符
打开 vocab.json 可以看到,词表是字符级的,收录了大量普通话词表里没有的粤语专用字,例如:
攞、唔、嘅、冇、嘢、嘞、叻、攸、脷、嘢……
这些字在 vocab.json 中与编码一一对应,配合 tokenizer_config.json 中的 Wav2Vec2CTCTokenizer 和分隔符 |,模型每预测一个位置就输出一个粤语字符——这是「字符级 CTC」方案的典型做法,对粤语这类缺乏标准分词的口语场景非常友好。
四、80 轮训练全程监控:CER 的四个阶段
trainer_state.json 完整记录了 40392 个训练步(global_step)的日志。按 trainer_state.json 的配置,总步数上限为 42240 步(80 epoch),实际训练到第 76.5 epoch 附近结束。
从日志中的验证集 eval_cer 变化,可以把整个过程分成 4 个阶段:
| 阶段 | 训练轮次(epoch) | 验证 CER 表现 | 阶段特征 |
|---|---|---|---|
| 🌱 冷启动 | 0.5 ~ 1.5 | 100% → 90.6% | 模型还没学会输出粤语字,输出几乎全错 |
| 🚀 快速下降 | 2.0 ~ 4.0 | 81.2% → 59.0% | 学习率约 3e-4,模型开始掌握高频粤语字 |
| 📉 稳步收敛 | 中期(10~40 轮) | 约 51% → 37% | 每轮挤掉几个百分点,长尾字词逐渐被覆盖 |
| 🧊 平台期 | 70 ~ 76 | 36.0% → 35.6% | 曲线走平,误差进入「粤语特有难字」区间 |
几个值得新手注意的细节:
- 前两轮 CER 一直是 100%(见 trainer_state.json)——冷启动阶段 loss 高达 28.58,别被吓到,这是从通用声学特征切换到字符输出的正常现象;
- 学习率采用线性衰减:从约
3e-4一路衰减,到 75 轮附近只剩1.59e-5(见 trainer_state.json),后期小步精修,避免平台期震荡; - 训练损失降到 0.097 而验证
eval_loss仍在 0.99 左右——训练/验证的差距是语音 ASR 微调的常态,不必苛求完全对齐。
📌 关于两个 CER 数字:训练日志中记录的验证
eval_cer最终约 35.6%(按样本平均口径统计),而 README.md 公布的 15.11% 是最终在 Common Voice zh-HK 测试集上按全局口径计算的官方 CER,两者统计方式不同,以后者为准。
从 trainer_state.json 还能看到整个训练的总计算量为 total_flos ≈ 9.12e19——放在一张 3090 上,就是「挂机几天」级别的训练强度。
五、最终效果与使用方法
最终成绩:粤语测试集 CER 15.11%。对于字符级粤语识别模型来说,这是一个相当实用的水平,可以支撑粤语字幕、语音转写等落地场景。
日常使用只需四步(完整代码见 README.md):
- 用
Wav2Vec2Processor加载模型与特征提取器; - 读取 16kHz 单声道音频(采样率要求见 preprocessor_config.json);
- 模型前向推理拿到 logits,取 argmax;
- 用
processor.decode解码出粤语文本。
processor = Wav2Vec2Processor.from_pretrained("scottykwok/wav2vec2-large-xlsr-cantonese")
model = Wav2Vec2ForCTC.from_pretrained("scottykwok/wav2vec2-large-xlsr-cantonese")
六、给新手的 4 条可复现经验
- ✅ 多语言基座 + 小数据集微调:先用 53 语言预训练模型打底,再在 zh-HK 上微调,是小语种 ASR 的性价比之选;
- ✅ 把轮数翻倍值得试:作者对比了社区 40 轮方案,直接翻倍到 80 epoch,CER 从社区版本进一步提升到 15.11%;
- ✅ 用 apex 跑 fp16:单张 3090 上稳定跑 80 轮,关键是混合精度 + 正确选择
fp16_backend; - ✅ 保存 trainer_state:像 trainer_state.json 这样完整的 step 级日志,是复盘收敛曲线、排查「什么时候该停」的宝藏数据。
📝 想自己动手复现:准备一张 24GB 显存显卡,克隆 Common Voice zh-HK 数据,按上文配置跑 80 epoch,你就拥有了自己的粤语 ASR 模型。