xiaohu-video-translate 字幕润色规则揭秘:ASR 纠错、语义断句与时间戳对齐的完整方法论
xiaohu-video-translate 字幕润色规则揭秘:ASR 纠错、语义断句与时间戳对齐的完整方法论
用 xiaohu-video-translate 把外语视频翻译成带中文字幕的视频时,"字幕润色"是决定最终观感的关键一步:纠正 ASR 转写听错的词、按语义断句、严格对齐时间戳,把机翻字幕变成"人味"字幕。这篇文章完整揭秘它的润色方法论,逐条讲清楚每条规则背后的设计。
一、字幕润色在流水线里的位置
项目把"一句话翻视频"拆成五步流水线,润色处在第 4 步:
① 下载 → ② Whisper 转写(词级时间戳) → ③ 翻译 → ④ 润色 → ⑤ 烧录字幕
润色被独立封装为 xiaohu-subtitle-polish 技能,全部规则写在 SKILL.md 里,有三个特点:
- 不是机翻直出:会纠错、会断句、会处理术语
- 时间戳严格对齐:无重叠、无跳号,字幕绝不跑在说话人前面
- 可独立复用:任何 SRT/VTT 文件(Whisper 输出、YouTube 自动字幕等)都能单独调它润色
二、ASR 纠错:先修好"听错"的问题
Whisper 等 ASR(自动语音识别)引擎的原始输出常有听错:同音字、专有名词被拆、数字被改。润色规则要求先做三类纠正(规则 1):
- 同音字 / 近音字:比如 "Claude" 被听成 "cloud"、"MCP" 被听成 "NCP"
- 专有名词:人名、地名、公司名、产品名、技术术语的拼写
- 数字与缩写:数字、外文缩写、单位的识别错误
💡 小技巧:手边有原视频时,可以给润色技能传 --video 参数,让 AI 参考视频画面里的文字辅助判断专有名词,比纯靠猜准确得多:
/xiaohu-subtitle-polish subtitle.srt --video video.mp4
三、语言风格:从机翻腔到自然中文
纠错之后还要让字幕"说人话",核心是两组规则(规则 2/3/7):
- 去冗余:删掉"那个、呃、嗯、就是说"这类无信息负载的口头语,但不丢关键语义——宁保留略冗余,不丢失意思
- 输出去标点:最终字幕文本里逗号、句号、问号全部去掉,画面空间寸土寸金
- 中英加空格:英文和中文之间加一个英文空格,如"这是 Google 的产品"
- 拒绝翻译腔:"这是非常令人兴奋的" → "这真的很酷",口语感保留、旁白用简洁书面语
四、语义断句:"可以拆,不可以合"原则
断句是字幕工作最反直觉的一环——多数人直觉是"合并减少条数",而这里的规则恰恰相反(规则 5):
- 一条原文对应一条译文,以原文 SRT 分段为节奏锚点
- 译文超过 12 个中文字符就按语义断点拆成两条,时间戳按比例分配
- 最多两行、单行为主,优先在语气停顿处断开
- 禁止合并相邻条目,3-4 字的短条也不合并——短条比长条阅读体验好
- 拆分后重新连续编号,禁止时间戳重叠
核心思想:宁可多一条短字幕,也不在屏幕上堆多行文字。
五、时间戳对齐:三条铁律
时间戳对齐规则(规则 4)的目标只有一个:防止"字幕跑在说话人前面"。
铁律 1:细粒度转写做锚点
把英文翻成中文前,先用 Whisper 的 -ml 50 参数重新生成细粒度分段(约 100+ 段 vs 默认 ~50 段),给每条译文精确的时间锚点:
whisper-cli -m ggml-large-v3-turbo.bin -t 8 -ml 50 audio.mp3 -osrt -of output_short
铁律 2:绝不手动提前 start time
每条中文字幕的 start time 必须等于对应英文内容所在 Whisper 段的 start time。手动前移是字幕不同步的第一大原因。
铁律 3:超长挂屏用静音检测裁剪
一条字幕跨度 >6 秒且文本较短时,说明 Whisper 把语音后的静音/BGM 算进了同一段。规则要求用 ffmpeg 静音检测精确定位语音结束点,而不是用公式估算:
ffmpeg -i audio.mp3 -ss 10 -to 20 -af silencedetect=n=-30dB:d=0.5 -f null - 2>&1 | grep silence_start
取第一个 silence_start 作为裁剪后的 end time;整段都没有静音就保留原始 end time 不裁剪。
六、中英双语字幕:ASS 字号反差法
想要双语字幕(中文大 / 英文小,顺便练听力),项目提供了专门脚本 bilingual_ass.py,把"双语 SRT"转成 ASS 字幕:
- 中文用大字号,英文 inline 降字号,比例约 1.7 倍(实测最干净的反差)
- 字号按分辨率自动选档(720p:中文 22 / 英文 13;1080p:20 / 12)
- 烧录走
ass=滤镜而不是subtitles=——因为 SRT 的force_style字号对整条统一生效,做不到同一条里中文大、英文小
烧进画面后的实际效果(中文大、英文小,贴底不挡人):
七、质量标准:润色的验收清单
润色完成后要过四项校验才算交付(质量标准):
| 校验项 | 标准 |
|---|---|
| 翻译准确率 | > 95% |
| 时间戳偏差 | < 200ms |
| 标点残留 | 零(逗号、句号、问号全部去除) |
| 编号 | 从 1 开始连续,无断裂 |
同一场英文访谈经过"翻译 + 润色"管线后,输出中 / 日 / 韩 / 阿 / 法 5 种语言的双语字幕,全部遵守同一套断句与对齐规则——连从右往左书写的阿拉伯语也排得整整齐齐:
八、相关文件速查
想通读规则或按需修改,看这几个文件就够了:
- 润色规则全文(8 组规则):SKILL.md
- 双语 ASS 转换脚本(含"为什么不能用 SRT"的说明):bilingual_ass.py
- 词级时间戳转写脚本:transcribe_srt.py
- 总管线编排(第 4 步自动调用润色技能):SKILL.md
装好技能后,一句"把这个链接翻译成中文字幕视频",ASR 纠错、语义断句、时间戳对齐就会全自动跑完——规则藏在脚本和说明书里,你只需要看结果。

