如何为泰语定制场景微调Typhoon Whisper Turbo:从数据准备到模型落地的完整实战

原创2026-11-10 14:36:362,447 阅读

如何为泰语定制场景微调Typhoon Whisper Turbo:从数据准备到模型落地的完整实战

Typhoon Whisper Turbo 是 SCB 10X 团队基于 Whisper Large v3 Turbo 架构微调的泰语自动语音识别(ASR)模型,在约 11,000 小时泰语音频上训练,兼顾高准确率与低延迟。本文带你从数据准备、微调训练到模型落地,完整跑通一次泰语场景定制。

一、认识 Typhoon Whisper Turbo:为什么它适合泰语场景

Typhoon Whisper Turbo 的定位是高吞吐的离线泰语转写模型:它把标准 Whisper Large v3 的 32 层解码器压缩到 4 层,推理显存和耗时大幅下降,同时保留接近大模型的识别精度。对想在自己业务(客服录音、播客、课堂录音等)上继续定制的用户来说,它是理想的微调起点。

1.1 关键架构参数速览

结合 config.json 可以看到核心设定:

参数 取值 含义
encoder_layers / decoder_layers 32 / 4 解码器大幅瘦身,推理更快的关键
d_model / decoder_ffn_dim 1280 / 5120 隐藏维度与前馈层宽度
max_target_positions 448 单段输出上限,对应 max_new_tokens=448
num_mel_bins 128 128 维 mel 频谱特征
torch_dtype bfloat16 推荐以 bfloat16 精度加载

音频前端参数在 preprocessor_config.json 中定义:采样率 16000Hz、30 秒分块、128 维 mel 特征——你的训练数据必须对齐这个规格。

1.2 仓库关键文件一览 📦

文件 作用
model.safetensors 模型权重(约 1.5GB,bfloat16)
config.json 模型结构配置
generation_config.json 生成配置:forced_decoder_ids 强制 transcribe 任务,多语言模式启用
tokenizer.json / vocab.json / merges.txt 51,866 词表的多语言 BPE 分词器
special_tokens_map.json / added_tokens.json 语言 token(含 <|th|> 泰语标记)与时间戳 token
preprocessor_config.json 音频预处理参数
normalizer.json 文本归一化词表映射
training_args.bin 基座模型训练参数快照
README.md 模型卡片:性能、用法、训练数据说明

💡 提示:generation_config.json 中泰语语言 token <\|th\|> 的 id 为 50289,推理时通过 language="thai" 参数传入即可,无需手动操作。

二、泰语微调数据准备:音频、标注与文本归一化

微调效果的上限由数据决定。Typhoon 官方就是用 Gigaspeech2、CommonVoice 加内部精修数据、经 Typhoon 数据管线统一归一化后才得到基座模型(见 README.md)。

2.1 音频规格:16kHz 单声道是硬要求

  • 重采样到 16kHz、单声道,输出 WAV 或 FLAC;
  • 长音频按自然段落切分,避免一条样本横跨多个说话人;
  • 去除明显静音头尾,保留自然停顿,不要过度降噪(过度处理会改变模型学到的声学分布)。

2.2 标注与文本归一化:泰语数字和重复标记要统一

泰语转写的三个高频坑,建议在标注前用文档定死规则:

  1. 数字写法:统一用阿拉伯数字还是泰语数字词(如 2567 vs สองพันห้าร้อยหกสิบเจ็ด),全库保持一致;
  2. 重复标记:泰语习惯叠词表强调(如 ช้าๆ),统一是否保留、是否加空格;
  3. 上下文歧义:同音异形词按你的业务词典二选一,避免同一词出现多种拼法。

参考官方管线的做法:一致处理泰语数字、统一重复标记、消解上下文歧义——这正是 README.md 中强调的三点。

2.3 数据集组织形式

推荐用一个 JSON 清单描述全部样本,train/valid 按 9:1 或 95:5 切分:

[
  {"audio": "train/000001.wav", "duration": 12.4, "text": "สวัสดีครับ ยินดีต้อนรับ"},
  {"audio": "train/000002.wav", "duration": 8.1,  "text": "ราคาเท่าไหร่"}
]

数据量参考:几百小时即可让领域词和口音对齐见效;若只是修正数字/术语风格,几十小时也常有明显提升。

三、环境搭建:快速加载 Typhoon Whisper Turbo

pip install transformers torch accelerate

加载与推理的最短路径(参考 README.md 的用法):

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
dtype = torch.bfloat16 if torch.cuda.is_available() else torch.float32
model_id = "scb10x/typhoon-whisper-turbo"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=dtype, low_cpu_mem_usage=True, use_safetensors=True
).to(device)
processor = AutoProcessor.from_pretrained(model_id)

pipe = pipeline(
    "automatic-speech-recognition", model=model,
    tokenizer=processor.tokenizer, feature_extractor=processor.feature_extractor,
    max_new_tokens=448, chunk_length_s=30, batch_size=16,
    return_timestamps=True, torch_dtype=dtype, device=device,
)
print(pipe("audio.wav", generate_kwargs={"language": "thai"})["text"])

跑通这一段,说明环境和模型都没问题,可以进入微调。

四、微调训练实操:关键参数与训练脚本

4.1 关键训练参数怎么配

参数 建议起点 说明
学习率 1e-6 ~ 2e-5 基座已很强,学习率宁小勿大
训练轮数 3~10 epochs 小数据多轮、大数据少轮
有效 batch size 16 左右 配合梯度累积调整
max_new_tokens 448 与 config.json 的 max_target_positions 对齐
chunk_length_s 30 与 preprocessor_config.json 的 30 秒分块一致
语言 thai 保持泰语 token 约束,避免漂移到其他语言

4.2 训练脚本示例(简化版)

from transformers import Seq2SeqTrainer, Seq2SeqTrainingArguments, DataCollatorForSpeechSeq2Seq

collate = DataCollatorForSpeechSeq2Seq(processor.feature_extractor, padding="max_length", max_length=30*16000)

args = Seq2SeqTrainingArguments(
    "output/typhoon-thai-ft", learning_rate=2e-5, num_train_epochs=5,
    per_device_train_batch_size=8, gradient_accumulation_steps=2,
    fp16=True, logging_steps=50, save_strategy="epoch",
)
trainer = Seq2SeqTrainer(
    model=model, args=args, train_dataset=train_ds, eval_dataset=valid_ds,
    data_collator=collate, processor=processor,
)
trainer.train()
trainer.save_model("output/typhoon-thai-ft-final")

4.3 训练中的常见坑 🕳️

  • loss 不降或剧烈波动:先确认音频确实是 16kHz 单声道、文本无编码错误(泰语 UTF-8);
  • 输出出现英文混杂:检查推理与训练时都传了 language="thai";
  • 数字仍写错:大概率是标注里数字写法不统一,回到第 2.2 节修数据。

五、效果评估:用 CER 验证微调收益

评估统一用 CER(Character Error Rate,字符错误率),越低越好。建议做法:

  1. 从你的业务音频里留出 100~500 条不参评测试集,覆盖目标场景(含噪音、口音样本);
  2. 分别用基座模型与微调后模型转写,对比 CER;
  3. 同时记录吞吐(音频小时/GPU 小时)——Typhoon 系列的核心卖点就是精度-速度均衡,官方在 README.md 用 Gigaspeech2(干净/学术)、TVSpeech(真实场景/含噪)与 Google Fleurs(泰语)三套测试集展示了它与大模型的 Pareto 前沿对比,你的验收标准也可以照此双指标化:CER 不高于微调前,且吞吐保持优势。

六、模型落地:离线转写与部署注意事项

微调完成后,权重保存为 safetensors 即可直接替换 model_id 加载,推理接口不变:

result = pipe("meeting.wav", generate_kwargs={"language": "thai"})
print(result["text"], result.get("chunks"))  # 文字 + 时间戳

部署要点:

  • 定位离线批处理:官方明确该模型最适合离线转写而非实时流式(见 README.md),实时场景请另行选型;
  • 精度与显存:GPU 上用 bfloat16(与 config.json 一致),权重约 1.5GB,再叠加激活内存留足余量;
  • 分块与批处理:chunk_length_s=30、batch_size 按显存调到 8~16,return_timestamps=True 可直接输出带时间戳的字幕片段;
  • 方言风险:对训练数据中覆盖不足的口音/方言,准确率会波动,上线前务必用真实业务录音做抽样人评。

七、上手检查清单 ✅

  • [ ] 音频全部重采样为 16kHz 单声道
  • [ ] 泰语数字、重复标记、标点规则文档化并全库执行
  • [ ] train/valid/测试集切分完成,测试集不参与训练
  • [ ] 基座模型跑通 pipeline 推理,语言参数为 thai
  • [ ] 微调后 CER 下降、吞吐未明显回退
  • [ ] 用 100 条真实业务录音做人工抽检

小结

Typhoon Whisper Turbo 用 4 层解码器的紧凑架构在泰语识别上打出了"精度-速度"好平衡。对它做场景微调的路径其实很清晰:对齐 16kHz 规格 → 统一泰语文本归一化规则 → 小学习率短轮次微调 → 用 CER+吞吐双指标验收 → 离线批处理部署。按本文清单逐项推进,你就能把通用的泰语 ASR 基座,打磨成只属于你业务场景的转写引擎。

登录后查看全文
typhoon-whisper-turbo