中文歌词第一遍必翻车:多音字、儿化音与断句的五个坑

原创2026-11-10 12:54:451,845 阅读
文章标签:语音音频处理3D渲染WebAssembly前端科学计算

中文歌词第一遍必翻车:多音字、儿化音与断句的五个坑

CHIMERA(README.md)是一个跑在浏览器里的物理建模歌声合成器:声音不是采样,而是肺部送气、声带或鸣管振动、分叉声道、唇鼻辐射算出来的。Rust 引擎编译成 WebAssembly 塞进 AudioWorklet,同一份代码在 cargo test 和 chimera CLI 里跑同样的计划。

这类项目最容易被误解的一点是:大家以为难点在声学模型,实际上第一次把中文歌词粘进去,翻车几乎都发生在文本前端——从字符串到音素、从音素到音节、从音节到时间轴的那几百行。这篇文章不讲音色,只把这条管线上五个真实存在的坑挖出来,每个坑都能在仓库里找到对应代码。

先看清管线:一行歌词要过几道关

Sing 模式的链路是固定的:

  1. textarea 的文本交给 lyricsToSyllables(text)(src/ui/singing.ts),WASM 侧落到 syllables::lyrics_to_syllables;
  2. 每个 Syllable 是 onset / nucleus / coda 三段加两个布尔位 wordEnd、phraseEnd(crates/chimera/src/phonetics/mod.rs);
  3. 实时演奏走 planNoteOn / planNoteOff,整首歌走 planSong(crates/chimera/src/phonetics/sing.rs),两者最终都汇入同一个 plan_utterance(crates/chimera/src/phonetics/planner.rs);
  4. 输出是一串 Gesture,由 GestureScore 以固定 16384 条容量交给音频线程。

中文出问题,基本都能定位到第 1、2 步。第 3 步之后反而很稳,因为那时候已经全是 IPA 和数字了。

坑一:汉字在分词器里被整段丢掉

打开 lyric_tokens,正则写得非常明确:

/// `text.match(/[A-Za-z'][A-Za-z'\-]*|(?<=\s|^)~-|[.,;:!?\n]/g)`
fn lyric_tokens(text: &str) -> Vec<String> { ... }

它只认 ASCII 字母、单引号、词内连字符、独立的 ~/-,以及半角标点。汉字既不是 is_word_start(c.is_ascii_alphabetic() || c == '\''),也不在任何分支里,于是直接被 i += 1 跳过,连一条日志都不会留下。

后果分两种,都很致命:

  • 实时唱:lyricsToSyllables("你好世界") 返回空数组,singNoteOn 里有一行兜底

    const syls = st.syllables.length ? st.syllables : [AH];
    

    而 AH 是写死的 { text: "ah", nucleus: { ipa: "ɑ" } }。于是你按下任何一个键,听到的都是一个 [ɑ],歌词再长也只有 [ɑ]。

  • 整曲渲染:chimera render notes 与 sungWords 都会做数量校验,直接报错

    0 syllables for 16 notes
    

    (见 crates/chimera-cli/src/render.rs 的 render notes,以及 src/show/words.ts 里 N syllables for M notes 的抛错。)

顺带一个容易忽略的细节:全角标点也不在名单里。is_lyric_punct 只匹配 .,;:!? 和换行,所以「你好,世界。」里的「,」「。」不会产生 phrase_end,整段会被当成一口气唱完。这一点在第四个坑里还会再咬你一次。

坑二:多音字没有"标注位",拼音也不是发音

英文路径的多音字问题,仓库是承认并且硬编码解决的:

/// The dictionary keeps one pronunciation per word; for these homographs it kept the rarer one
/// (the verb "wind", past-tense "read"). Telling them apart needs grammar; the common reading wins.
fn homograph(w: &str) -> Option<&'static str> {
    Some(match w {
        "wind" => "W IH1 N D", "read" => "R IY1 D", "live" => "L IH1 V",
        "lead" => "L IY1 D", "close" => "K L OW1 Z", "wound" => "W UW1 N D",
        _ => return None,
    })
}

六个词,一张表,注释里那句 "Telling them apart needs grammar" 才是重点:消歧靠的不是词典,是上下文和语法。中文多音字的规模不是六个,而是成百上千(「长」「行」「重」「还」「了」「着」「得」「差」……),一张 match 表根本装不下。

更麻烦的是:歌词路径根本没有给你写标注的地方。lyrics_to_syllables 只接受"词"这一种输入,词再交给 EnglishG2P::word:先查 CMUdict,查不到就走 letter_to_sound 的英语拼写规则。也就是说,你在歌词框里写拼音,系统不会把它当拼音,而会把它当拼错的英文来读。

按 crates/chimera/src/phonetics/english.rs 的 RULES 表逐条推演,几个常见拼音会得到:

你写的 规则命中 实际音素
hua u 在 CV 上下文才读 [u],此处不匹配,落回 ("", "u", "", "ʌ");a → [æ] h ʌ æ
shi sh → [ʃ];i 未命中 CV 分支,落回 [ɪ] ʃ ɪ
er(词尾) ("", "er", "#", "ɚ") ɚ(这条是罕见的巧合)
xi x → k s;i → [ɪ] k s ɪ

所以「拼音当歌词」不是"没声音",而是"读出另一门语言"。它甚至会改变音节数:hua 变成 [h ʌ æ] 后有两个元音,syllabify_segments 会把它切成两个音节,一个词吃掉两个音符,然后撞上 N syllables for M notes。

那正确的标注位在哪?仓库里其实有两个,只是都不在歌词框:

其一是 IPA 输入。 tokenizeIpa 接受 IPA 字符串,支持主重音 ˈ、次重音 ˌ、长音 ː、连音线、塞擦音和双元音,甚至自己做了一套 NFC 归一化(crates/chimera/src/phonetics/ipa.rs)。chimera render speech out/zh "ˈni xɑʊ / ˈxua" 就是这条路。

但这里藏着第二个必翻车点:IPA 的字母表不是拼音的字母表。把拼音直接填进 IPA 框,命中的是另一套音:

字母 拼音含义 本仓库 IPA 含义
q 送气清硬腭塞擦音 清小舌塞音(c("q", "voiceless uvular stop", ...))
x 清硬腭擦音 [ɕ] 清软腭擦音 [x]
c 送气清齿龈塞擦音 清硬腭塞音 [c]
j 清硬腭塞擦音 硬腭近音 [j]
z 不送气清齿龈塞擦音 浊齿龈擦音 [z]
r 卷舌近音 齿龈颤音(Manner::Trill,规划器会以约 26 Hz 反复闭合)

其二是"显示拼写"与"发音拼写"分离。 Duet 页面早就需要这个能力:歌词按发音写成 owr 才能查到 our,于是在嘴边显示时要换回来。代码里叫 spell:

/** `spell` ({"owr": "our"}) writes a syllable spelled for the dictionary as it should read. */
export function sungWords(m: Melody, syls: Syllable[], spell: Record<string, string> = {}): SungWords

这正是中文场景该复用的思路:拼音负责发音,汉字负责显示。目前它只作用于"嘴边的字",不改变音素;要真正让一个汉字对应一组确定的音素,只能绕开歌词路径,直接构造 Syllable/Segment(Segment 的字段是 ipa、dur、stress、f0、wordEnd,已经足够表达),通过 WASM 的 planNoteOn/planNoteOff 送进去。多音字的消歧,最终必须发生在你自己那一层——引擎不会替你猜。

坑三:儿化音的撇号会被当成重音,r 色彩必须落在韵母上

中文用户写儿化,直觉是 hua'r 或 hua r。三种写法在这里会得到三种不同的错误。

先看 IPA 分词器对单引号的处理:

if ch == 'ˈ' || ch == '\'' {
    stress = 1;
    i += 1;
    continue;
}

' 是主重音符号的别名。所以 hua'r 里的撇号被吃掉,r 作为辅音不消耗 stress,重音会顺延到它后面的第一个元音上——你以为在标儿化,实际在给下一个音节加重音。而如果走歌词路径,' 属于 is_word_start,会留在词里,g2p.word("hua'r") 查不到词典,letter_to_sound 跳过撇号并给词尾 r 一个 [ɹ],于是 hua'r 读成 [h ʌ æ ɹ],还要占两个音节。

更关键的是声学层面:普通话的儿化不是一个独立的 [ɹ] 音段,而是叠加在韵母上的卷舌动作。仓库里唯一为这件事准备的东西是 r 化元音:

pub fn expand(ipa: &str) -> Option<&'static [&'static str]> {
    Some(match ipa {
        ...
        "ɚ" => &["ɝ"],
        _ => return None,
    })
}

ɚ 直接展开成 ɝ,而 ɝ 的校准靶点里 ttCurl 是 1(满值),舌位是 ttX 5.642 / ttY 8.632。但 preset_vowel_artic 只拷贝 VOWEL_KEYS 里的九个键,舌叶坐标要额外搬一次,注释写得很直白:

// a rhotic's tip is raised and curled back, not resting behind the teeth: without its
// calibrated position the tip stayed down and /ɝ/'s F3 sat ~15–20 % high (weakly rhotic)
if v.artic.get(ArticKey::TtCurl).unwrap_or(0.0) > 0.05 {
    if let Some(x) = v.artic.get(ArticKey::TtX) { out.set(ArticKey::TtX, x); }
    if let Some(y) = v.artic.get(ArticKey::TtY) { out.set(ArticKey::TtY, y); }
}

也就是说:儿化的正确做法是把 r 色彩并进韵母,写成 ɚ/ɝ 这样的单元音,而不是在 coda 里追加一个 ɹ。 追加 ɹ 会得到一个完整的近音音段:在 crates/chimera/src/phonetics/inventory.rs 里它是 Manner::Approximant、时长 0.065 s,还要单独分配几千赫兹的过渡,听起来更像英语的 r,而不是「花儿」。

还有两个符号冲突值得记一笔:

  • 歌词里独立的 - 或 ~ 是 melisma(把上一个元音拖到下一个音高),但词内的 - 是显式音节切分(ti-ger → ti + ger)。写儿化时如果顺手加个连字符,可能把 hua-r 拆成两个音节而不是一次拖腔。
  • 唱的时候双元音被按 0.8 / 0.2 切开(crates/chimera/src/phonetics/sing.rs),而说话时是 0.55 / 0.45(planner 的 expand 分支)。这意味着同一个 aɪ,唱出来时韵腹占绝对优势,韵尾只够做一个短短的滑动——中文的复韵母(ai/ei/ao/ou)在长音上会明显"前重后轻",这属于设计取向,但确实和汉语听感有出入。

坑四:断句位置直接改写整句的音高走向

这一坑最隐蔽,因为它不报错,只是"听起来怪"。断句在系统里是两级布尔位:

  • Segment.word_end:词边界。它决定 Klatt 时长规则里的"词内/词末",也决定英语闪音化和暗 l 的作用域(apply_allophones 明确用 !prev_word_end 来阻止跨词闪音)。
  • Syllable.phrase_end:短语边界。plan_song 用它切分呼吸组,plan_phrases 用它给每段单独规划语调和停顿。

先看时长。Klatt 规则(crates/chimera/src/phonetics/durations.rs)对元音是这样乘系数的:

if final_syl { p *= 1.4; }      // clause-final lengthening
else { p *= 0.6; }              // non-phrase-final shortening
...
if vowels_in_word > 1 { p *= 0.8; }   // polysyllabic shortening
if stress == 0 { min *= 0.5; p *= 0.7; }

断句点选错,等于把 1.4 和 0.6 这两个系数用反:该拖长的句尾被压短,不该拖长的中间词被拉长。中文没有空格,如果你把整段拼音连写成一个"词",vowels_in_word > 1 会全程命中,还会触发 letter_to_sound 那句「stress the first vowel (crude but serviceable)」——整串只有第一个元音是主重音,其余全按 0 处理,再乘 0.7 并折半最小值。听感就是"第一个字重、后面全糊"。

再看音高。plan_utterance 的重音策略只有三个层级(0 / 1 / 2),核心重音的定义是:

// the nuclear accent: the phrase's last primary-stressed vowel, a bigger excursion that falls
// (statements) into the final low; earlier accents are smaller (a "hat" pattern)

具体地:

  • 每个元音的基线是 f0 * (1 - 0.1 * prog) * acc,prog 是它在整句里的位置比例。也就是说音高天然从前往后下降 10%;
  • 主重音乘 1 + accent(默认 0.14),次重音乘 1 + accent * 0.5;
  • 句末若是陈述句,最后一个元音压到 f0 * 0.82;如果它正好是核心重音且时长超过 80 ms,还会先冲一个峰再落下来("帽形");
  • 句末若是疑问句,直接抬到 f0 * 1.35。

所以断句位置决定了"哪个元音拿到核心重音",也就决定了整句的峰在哪里、尾巴往哪儿落。把「我爱你,中国」断成一句,核心重音落在最后一个主重音元音上,前面全部只吃 0.6 的缩短和线性下降;断成两句,第一段自己有一个核心重音、自己有一次 1.4 的句末延长、自己有一次 0.82 的收尾,然后停顿 0.25 s 再来第二段。同一串音节,两种断法,音高曲线完全是两条。

现实约束是:全角标点不会被识别成断句。is_phrase_punct 只认 .!?;:,,lyrics_to_syllables 只认 .,;:!? 与换行。中文的「,」「。」「?」在这里等于普通字符,会被静默丢弃。想让引擎断句,得把它换成半角,或者——更稳的做法——直接用换行,因为 \n 在歌词路径里确实会置 phrase_end = true。

坑五:声调没有通道,音段清单也不齐

最后一个坑是结构性的:这个引擎没有"声调"这个概念。

Segment 里与音高相关的字段只有两个:

/// 0 unstressed, 1 primary, 2 secondary
pub stress: Option<u8>,
/// explicit pitch (Hz) for this segment (singing)
pub f0: Option<f64>,

stress 是重音,不是调型:它只能抬高或压低基线的百分比,无法表达"高平 / 中升 / 降升 / 全降"这四种走向。f0 一旦给了,就是绝对频率,而且只在唱歌时用。写进 IPA 的调符(˥˦˧˨˩)会落在 known 集合之外,被 if !known.contains(tok.as_str()) { continue; } 直接丢掉——不报错,不发声,不给提示。

唱的时候更彻底:plan_song 把每个音符的音高算成 midi_to_hz(n.midi) 塞进 Segment.f0,然后统一用 sung: Some(true) 规划,句内语调被强制设为 Intonation::Flat。也就是说旋律一旦确定,声调信息就没有任何位置可以挂载。这也是"多音字靠声调区分"在歌声里失效的根本原因:即使你选对了读音,唱出来也只有音符,没有调。

音段清单同样不够用。MULTI 只列了十个多字符符号:

const MULTI: [&str; 10] = ["tʃ", "dʒ", "ts", "dz", "pf", "aɪ", "aʊ", "ɔɪ", "eɪ", "oʊ"];

普通话的三组塞擦音里,ts 有、tʃ/dʒ 有,但 tʂ、tʂʰ、tɕ、tɕʰ 都不存在,ɕ 在整个 inventory.rs 里一次都没出现过。可用的近似是 ʂ/ʐ(卷舌擦音,带 TtCurl)加 t 组成 tʂ,或者干脆退到 ʃ。送气对立也没有独立符号,只能靠 ControlKey::ABDUCTION 的强弱去凑——plan_utterance 给送气塞音 0.36、不送气 0.22,差别存在,但那是气流强度,不是 IPA 层面的 ʰ。

第一遍就不翻车的检查清单

把上面五个坑压成可执行的六条:

  1. 不要指望汉字进歌词框。 现在它只会产出空数组,然后回落成 [ɑ]。真要中文,先把文本转成 IPA,再走 tokenizeIpa / planUtterance。
  2. 拼音不要填进 IPA 框。 q/x/c/j/z/r 在这套音系里是六个完全不同的音,r 甚至是颤音。
  3. 多音字在引擎外消歧。 唯一"真正生效"的标注是直接给出音素序列;显示层可以用 spell 那套"发音拼写 → 显示拼写"的映射把汉字换回来。
  4. 儿化写成单元音 ɚ/ɝ,不要写成 coda ɹ,更不要用撇号。 撇号在分词器里是主重音,会把重音挪到下一个元音上。
  5. 断句用半角标点或换行。 全角「,。?!」不产生 phrase_end,整段会共享一个核心重音、一次 1.4 的句末延长和一次 0.82 的收尾。
  6. 旋律会覆盖声调。 唱的时候 Intonation::Flat 加显式 f0,四声没有载体;需要声调就得在选音素阶段把调型"折算"成具体读音,而不是寄希望于规划器。

最后提醒一句工程约束:这些行为不是随手写的,它们被金测试锁住了。AGENTS.md 里写明"任何改变声音或计划的修改都会让 golden 测试失败,这是设计如此",重签要跑 CHIMERA_BLESS=1 cargo test --workspace --no-fail-fast 并跑两遍。也就是说,给中文加一条真正的 G2P 通路,不只是写个映射表,而是要同时改 Segment/Syllable 的语义边界、plan_utterance 的语调模型和整批 crates/chimera/tests/golden 基线。第一遍翻车是必然的;第二遍开始,才知道该动哪一层。

登录后查看全文
chimera-vocal-synth