如何为泰语定制场景微调Typhoon Whisper Turbo:从数据准备到模型落地的完整实战
如何为泰语定制场景微调Typhoon Whisper Turbo:从数据准备到模型落地的完整实战
Typhoon Whisper Turbo 是 SCB 10X 团队基于 Whisper Large v3 Turbo 架构微调的泰语自动语音识别(ASR)模型,在约 11,000 小时泰语音频上训练,兼顾高准确率与低延迟。本文带你从数据准备、微调训练到模型落地,完整跑通一次泰语场景定制。
一、认识 Typhoon Whisper Turbo:为什么它适合泰语场景
Typhoon Whisper Turbo 的定位是高吞吐的离线泰语转写模型:它把标准 Whisper Large v3 的 32 层解码器压缩到 4 层,推理显存和耗时大幅下降,同时保留接近大模型的识别精度。对想在自己业务(客服录音、播客、课堂录音等)上继续定制的用户来说,它是理想的微调起点。
1.1 关键架构参数速览
结合 config.json 可以看到核心设定:
| 参数 | 取值 | 含义 |
|---|---|---|
encoder_layers / decoder_layers |
32 / 4 | 解码器大幅瘦身,推理更快的关键 |
d_model / decoder_ffn_dim |
1280 / 5120 | 隐藏维度与前馈层宽度 |
max_target_positions |
448 | 单段输出上限,对应 max_new_tokens=448 |
num_mel_bins |
128 | 128 维 mel 频谱特征 |
torch_dtype |
bfloat16 | 推荐以 bfloat16 精度加载 |
音频前端参数在 preprocessor_config.json 中定义:采样率 16000Hz、30 秒分块、128 维 mel 特征——你的训练数据必须对齐这个规格。
1.2 仓库关键文件一览 📦
| 文件 | 作用 |
|---|---|
| model.safetensors | 模型权重(约 1.5GB,bfloat16) |
| config.json | 模型结构配置 |
| generation_config.json | 生成配置:forced_decoder_ids 强制 transcribe 任务,多语言模式启用 |
| tokenizer.json / vocab.json / merges.txt | 51,866 词表的多语言 BPE 分词器 |
| special_tokens_map.json / added_tokens.json | 语言 token(含 <|th|> 泰语标记)与时间戳 token |
| preprocessor_config.json | 音频预处理参数 |
| normalizer.json | 文本归一化词表映射 |
| training_args.bin | 基座模型训练参数快照 |
| README.md | 模型卡片:性能、用法、训练数据说明 |
💡 提示:generation_config.json 中泰语语言 token
<\|th\|>的 id 为 50289,推理时通过language="thai"参数传入即可,无需手动操作。
二、泰语微调数据准备:音频、标注与文本归一化
微调效果的上限由数据决定。Typhoon 官方就是用 Gigaspeech2、CommonVoice 加内部精修数据、经 Typhoon 数据管线统一归一化后才得到基座模型(见 README.md)。
2.1 音频规格:16kHz 单声道是硬要求
- 重采样到 16kHz、单声道,输出 WAV 或 FLAC;
- 长音频按自然段落切分,避免一条样本横跨多个说话人;
- 去除明显静音头尾,保留自然停顿,不要过度降噪(过度处理会改变模型学到的声学分布)。
2.2 标注与文本归一化:泰语数字和重复标记要统一
泰语转写的三个高频坑,建议在标注前用文档定死规则:
- 数字写法:统一用阿拉伯数字还是泰语数字词(如
2567vsสองพันห้าร้อยหกสิบเจ็ด),全库保持一致; - 重复标记:泰语习惯叠词表强调(如
ช้าๆ),统一是否保留、是否加空格; - 上下文歧义:同音异形词按你的业务词典二选一,避免同一词出现多种拼法。
参考官方管线的做法:一致处理泰语数字、统一重复标记、消解上下文歧义——这正是 README.md 中强调的三点。
2.3 数据集组织形式
推荐用一个 JSON 清单描述全部样本,train/valid 按 9:1 或 95:5 切分:
[
{"audio": "train/000001.wav", "duration": 12.4, "text": "สวัสดีครับ ยินดีต้อนรับ"},
{"audio": "train/000002.wav", "duration": 8.1, "text": "ราคาเท่าไหร่"}
]
数据量参考:几百小时即可让领域词和口音对齐见效;若只是修正数字/术语风格,几十小时也常有明显提升。
三、环境搭建:快速加载 Typhoon Whisper Turbo
pip install transformers torch accelerate
加载与推理的最短路径(参考 README.md 的用法):
import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
device = "cuda:0" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if torch.cuda.is_available() else torch.float32
model_id = "scb10x/typhoon-whisper-turbo"
model = AutoModelForSpeechSeq2Seq.from_pretrained(
model_id, torch_dtype=dtype, low_cpu_mem_usage=True, use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(model_id)
pipe = pipeline(
"automatic-speech-recognition", model=model,
tokenizer=processor.tokenizer, feature_extractor=processor.feature_extractor,
max_new_tokens=448, chunk_length_s=30, batch_size=16,
return_timestamps=True, torch_dtype=dtype, device=device,
)
print(pipe("audio.wav", generate_kwargs={"language": "thai"})["text"])
跑通这一段,说明环境和模型都没问题,可以进入微调。
四、微调训练实操:关键参数与训练脚本
4.1 关键训练参数怎么配
| 参数 | 建议起点 | 说明 |
|---|---|---|
| 学习率 | 1e-6 ~ 2e-5 | 基座已很强,学习率宁小勿大 |
| 训练轮数 | 3~10 epochs | 小数据多轮、大数据少轮 |
| 有效 batch size | 16 左右 | 配合梯度累积调整 |
max_new_tokens |
448 | 与 config.json 的 max_target_positions 对齐 |
chunk_length_s |
30 | 与 preprocessor_config.json 的 30 秒分块一致 |
| 语言 | thai |
保持泰语 token 约束,避免漂移到其他语言 |
4.2 训练脚本示例(简化版)
from transformers import Seq2SeqTrainer, Seq2SeqTrainingArguments, DataCollatorForSpeechSeq2Seq
collate = DataCollatorForSpeechSeq2Seq(processor.feature_extractor, padding="max_length", max_length=30*16000)
args = Seq2SeqTrainingArguments(
"output/typhoon-thai-ft", learning_rate=2e-5, num_train_epochs=5,
per_device_train_batch_size=8, gradient_accumulation_steps=2,
fp16=True, logging_steps=50, save_strategy="epoch",
)
trainer = Seq2SeqTrainer(
model=model, args=args, train_dataset=train_ds, eval_dataset=valid_ds,
data_collator=collate, processor=processor,
)
trainer.train()
trainer.save_model("output/typhoon-thai-ft-final")
4.3 训练中的常见坑 🕳️
- loss 不降或剧烈波动:先确认音频确实是 16kHz 单声道、文本无编码错误(泰语 UTF-8);
- 输出出现英文混杂:检查推理与训练时都传了
language="thai"; - 数字仍写错:大概率是标注里数字写法不统一,回到第 2.2 节修数据。
五、效果评估:用 CER 验证微调收益
评估统一用 CER(Character Error Rate,字符错误率),越低越好。建议做法:
- 从你的业务音频里留出 100~500 条不参评测试集,覆盖目标场景(含噪音、口音样本);
- 分别用基座模型与微调后模型转写,对比 CER;
- 同时记录吞吐(音频小时/GPU 小时)——Typhoon 系列的核心卖点就是精度-速度均衡,官方在 README.md 用 Gigaspeech2(干净/学术)、TVSpeech(真实场景/含噪)与 Google Fleurs(泰语)三套测试集展示了它与大模型的 Pareto 前沿对比,你的验收标准也可以照此双指标化:CER 不高于微调前,且吞吐保持优势。
六、模型落地:离线转写与部署注意事项
微调完成后,权重保存为 safetensors 即可直接替换 model_id 加载,推理接口不变:
result = pipe("meeting.wav", generate_kwargs={"language": "thai"})
print(result["text"], result.get("chunks")) # 文字 + 时间戳
部署要点:
- 定位离线批处理:官方明确该模型最适合离线转写而非实时流式(见 README.md),实时场景请另行选型;
- 精度与显存:GPU 上用 bfloat16(与 config.json 一致),权重约 1.5GB,再叠加激活内存留足余量;
- 分块与批处理:
chunk_length_s=30、batch_size按显存调到 8~16,return_timestamps=True可直接输出带时间戳的字幕片段; - 方言风险:对训练数据中覆盖不足的口音/方言,准确率会波动,上线前务必用真实业务录音做抽样人评。
七、上手检查清单 ✅
- [ ] 音频全部重采样为 16kHz 单声道
- [ ] 泰语数字、重复标记、标点规则文档化并全库执行
- [ ] train/valid/测试集切分完成,测试集不参与训练
- [ ] 基座模型跑通
pipeline推理,语言参数为thai - [ ] 微调后 CER 下降、吞吐未明显回退
- [ ] 用 100 条真实业务录音做人工抽检
小结
Typhoon Whisper Turbo 用 4 层解码器的紧凑架构在泰语识别上打出了"精度-速度"好平衡。对它做场景微调的路径其实很清晰:对齐 16kHz 规格 → 统一泰语文本归一化规则 → 小学习率短轮次微调 → 用 CER+吞吐双指标验收 → 离线批处理部署。按本文清单逐项推进,你就能把通用的泰语 ASR 基座,打磨成只属于你业务场景的转写引擎。