xiaohu-video-translate 字幕润色规则揭秘:ASR 纠错、语义断句与时间戳对齐的完整方法论

原创2026-11-04 14:42:241,364 阅读
文章标签:AI 技能音视频语音本地部署AI 应用

xiaohu-video-translate 字幕润色规则揭秘:ASR 纠错、语义断句与时间戳对齐的完整方法论

用 xiaohu-video-translate 把外语视频翻译成带中文字幕的视频时,"字幕润色"是决定最终观感的关键一步:纠正 ASR 转写听错的词、按语义断句、严格对齐时间戳,把机翻字幕变成"人味"字幕。这篇文章完整揭秘它的润色方法论,逐条讲清楚每条规则背后的设计。

一、字幕润色在流水线里的位置

项目把"一句话翻视频"拆成五步流水线,润色处在第 4 步:

① 下载 → ② Whisper 转写(词级时间戳) → ③ 翻译 → ④ 润色 → ⑤ 烧录字幕

润色被独立封装为 xiaohu-subtitle-polish 技能,全部规则写在 SKILL.md 里,有三个特点:

  • 不是机翻直出:会纠错、会断句、会处理术语
  • 时间戳严格对齐:无重叠、无跳号,字幕绝不跑在说话人前面
  • 可独立复用:任何 SRT/VTT 文件(Whisper 输出、YouTube 自动字幕等)都能单独调它润色

二、ASR 纠错:先修好"听错"的问题

Whisper 等 ASR(自动语音识别)引擎的原始输出常有听错:同音字、专有名词被拆、数字被改。润色规则要求先做三类纠正(规则 1):

  • 同音字 / 近音字:比如 "Claude" 被听成 "cloud"、"MCP" 被听成 "NCP"
  • 专有名词:人名、地名、公司名、产品名、技术术语的拼写
  • 数字与缩写:数字、外文缩写、单位的识别错误

💡 小技巧:手边有原视频时,可以给润色技能传 --video 参数,让 AI 参考视频画面里的文字辅助判断专有名词,比纯靠猜准确得多:

/xiaohu-subtitle-polish subtitle.srt --video video.mp4

三、语言风格:从机翻腔到自然中文

纠错之后还要让字幕"说人话",核心是两组规则(规则 2/3/7):

  • 去冗余:删掉"那个、呃、嗯、就是说"这类无信息负载的口头语,但不丢关键语义——宁保留略冗余,不丢失意思
  • 输出去标点:最终字幕文本里逗号、句号、问号全部去掉,画面空间寸土寸金
  • 中英加空格:英文和中文之间加一个英文空格,如"这是 Google 的产品"
  • 拒绝翻译腔:"这是非常令人兴奋的" → "这真的很酷",口语感保留、旁白用简洁书面语

四、语义断句:"可以拆,不可以合"原则

断句是字幕工作最反直觉的一环——多数人直觉是"合并减少条数",而这里的规则恰恰相反(规则 5):

  1. 一条原文对应一条译文,以原文 SRT 分段为节奏锚点
  2. 译文超过 12 个中文字符就按语义断点拆成两条,时间戳按比例分配
  3. 最多两行、单行为主,优先在语气停顿处断开
  4. 禁止合并相邻条目,3-4 字的短条也不合并——短条比长条阅读体验好
  5. 拆分后重新连续编号,禁止时间戳重叠

核心思想:宁可多一条短字幕,也不在屏幕上堆多行文字。

五、时间戳对齐:三条铁律

时间戳对齐规则(规则 4)的目标只有一个:防止"字幕跑在说话人前面"。

铁律 1:细粒度转写做锚点

把英文翻成中文前,先用 Whisper 的 -ml 50 参数重新生成细粒度分段(约 100+ 段 vs 默认 ~50 段),给每条译文精确的时间锚点:

whisper-cli -m ggml-large-v3-turbo.bin -t 8 -ml 50 audio.mp3 -osrt -of output_short

铁律 2:绝不手动提前 start time

每条中文字幕的 start time 必须等于对应英文内容所在 Whisper 段的 start time。手动前移是字幕不同步的第一大原因。

铁律 3:超长挂屏用静音检测裁剪

一条字幕跨度 >6 秒且文本较短时,说明 Whisper 把语音后的静音/BGM 算进了同一段。规则要求用 ffmpeg 静音检测精确定位语音结束点,而不是用公式估算:

ffmpeg -i audio.mp3 -ss 10 -to 20 -af silencedetect=n=-30dB:d=0.5 -f null - 2>&1 | grep silence_start

取第一个 silence_start 作为裁剪后的 end time;整段都没有静音就保留原始 end time 不裁剪。

六、中英双语字幕:ASS 字号反差法

想要双语字幕(中文大 / 英文小,顺便练听力),项目提供了专门脚本 bilingual_ass.py,把"双语 SRT"转成 ASS 字幕:

  • 中文用大字号,英文 inline 降字号,比例约 1.7 倍(实测最干净的反差)
  • 字号按分辨率自动选档(720p:中文 22 / 英文 13;1080p:20 / 12)
  • 烧录走 ass= 滤镜而不是 subtitles=——因为 SRT 的 force_style 字号对整条统一生效,做不到同一条里中文大、英文小

烧进画面后的实际效果(中文大、英文小,贴底不挡人):

中英双语字幕烧录效果:中文大字号在上、英文小字号在下,xiaohu-video-translate 字幕润色输出示例

七、质量标准:润色的验收清单

润色完成后要过四项校验才算交付(质量标准):

校验项 标准
翻译准确率 > 95%
时间戳偏差 < 200ms
标点残留 零(逗号、句号、问号全部去除)
编号 从 1 开始连续,无断裂

同一场英文访谈经过"翻译 + 润色"管线后,输出中 / 日 / 韩 / 阿 / 法 5 种语言的双语字幕,全部遵守同一套断句与对齐规则——连从右往左书写的阿拉伯语也排得整整齐齐:

字幕润色与翻译效果展示:同一视频的中文、日语、韩语、阿拉伯语、法语五种双语字幕,各语言译文在上、英文原文在下

八、相关文件速查

想通读规则或按需修改,看这几个文件就够了:

  • 润色规则全文(8 组规则):SKILL.md
  • 双语 ASS 转换脚本(含"为什么不能用 SRT"的说明):bilingual_ass.py
  • 词级时间戳转写脚本:transcribe_srt.py
  • 总管线编排(第 4 步自动调用润色技能):SKILL.md

装好技能后,一句"把这个链接翻译成中文字幕视频",ASR 纠错、语义断句、时间戳对齐就会全自动跑完——规则藏在脚本和说明书里,你只需要看结果。

登录后查看全文
xiaohu-video-translate