中文歌词第一遍必翻车:多音字、儿化音与断句的五个坑
中文歌词第一遍必翻车:多音字、儿化音与断句的五个坑
CHIMERA(README.md)是一个跑在浏览器里的物理建模歌声合成器:声音不是采样,而是肺部送气、声带或鸣管振动、分叉声道、唇鼻辐射算出来的。Rust 引擎编译成 WebAssembly 塞进 AudioWorklet,同一份代码在 cargo test 和 chimera CLI 里跑同样的计划。
这类项目最容易被误解的一点是:大家以为难点在声学模型,实际上第一次把中文歌词粘进去,翻车几乎都发生在文本前端——从字符串到音素、从音素到音节、从音节到时间轴的那几百行。这篇文章不讲音色,只把这条管线上五个真实存在的坑挖出来,每个坑都能在仓库里找到对应代码。
先看清管线:一行歌词要过几道关
Sing 模式的链路是固定的:
textarea的文本交给lyricsToSyllables(text)(src/ui/singing.ts),WASM 侧落到syllables::lyrics_to_syllables;- 每个
Syllable是onset / nucleus / coda三段加两个布尔位wordEnd、phraseEnd(crates/chimera/src/phonetics/mod.rs); - 实时演奏走
planNoteOn/planNoteOff,整首歌走planSong(crates/chimera/src/phonetics/sing.rs),两者最终都汇入同一个plan_utterance(crates/chimera/src/phonetics/planner.rs); - 输出是一串
Gesture,由GestureScore以固定 16384 条容量交给音频线程。
中文出问题,基本都能定位到第 1、2 步。第 3 步之后反而很稳,因为那时候已经全是 IPA 和数字了。
坑一:汉字在分词器里被整段丢掉
打开 lyric_tokens,正则写得非常明确:
/// `text.match(/[A-Za-z'][A-Za-z'\-]*|(?<=\s|^)~-|[.,;:!?\n]/g)`
fn lyric_tokens(text: &str) -> Vec<String> { ... }
它只认 ASCII 字母、单引号、词内连字符、独立的 ~/-,以及半角标点。汉字既不是 is_word_start(c.is_ascii_alphabetic() || c == '\''),也不在任何分支里,于是直接被 i += 1 跳过,连一条日志都不会留下。
后果分两种,都很致命:
-
实时唱:
lyricsToSyllables("你好世界")返回空数组,singNoteOn里有一行兜底const syls = st.syllables.length ? st.syllables : [AH];而
AH是写死的{ text: "ah", nucleus: { ipa: "ɑ" } }。于是你按下任何一个键,听到的都是一个 [ɑ],歌词再长也只有 [ɑ]。 -
整曲渲染:
chimera render notes与sungWords都会做数量校验,直接报错0 syllables for 16 notes(见 crates/chimera-cli/src/render.rs 的
render notes,以及 src/show/words.ts 里N syllables for M notes的抛错。)
顺带一个容易忽略的细节:全角标点也不在名单里。is_lyric_punct 只匹配 .,;:!? 和换行,所以「你好,世界。」里的「,」「。」不会产生 phrase_end,整段会被当成一口气唱完。这一点在第四个坑里还会再咬你一次。
坑二:多音字没有"标注位",拼音也不是发音
英文路径的多音字问题,仓库是承认并且硬编码解决的:
/// The dictionary keeps one pronunciation per word; for these homographs it kept the rarer one
/// (the verb "wind", past-tense "read"). Telling them apart needs grammar; the common reading wins.
fn homograph(w: &str) -> Option<&'static str> {
Some(match w {
"wind" => "W IH1 N D", "read" => "R IY1 D", "live" => "L IH1 V",
"lead" => "L IY1 D", "close" => "K L OW1 Z", "wound" => "W UW1 N D",
_ => return None,
})
}
六个词,一张表,注释里那句 "Telling them apart needs grammar" 才是重点:消歧靠的不是词典,是上下文和语法。中文多音字的规模不是六个,而是成百上千(「长」「行」「重」「还」「了」「着」「得」「差」……),一张 match 表根本装不下。
更麻烦的是:歌词路径根本没有给你写标注的地方。lyrics_to_syllables 只接受"词"这一种输入,词再交给 EnglishG2P::word:先查 CMUdict,查不到就走 letter_to_sound 的英语拼写规则。也就是说,你在歌词框里写拼音,系统不会把它当拼音,而会把它当拼错的英文来读。
按 crates/chimera/src/phonetics/english.rs 的 RULES 表逐条推演,几个常见拼音会得到:
| 你写的 | 规则命中 | 实际音素 |
|---|---|---|
hua |
u 在 CV 上下文才读 [u],此处不匹配,落回 ("", "u", "", "ʌ");a → [æ] |
h ʌ æ |
shi |
sh → [ʃ];i 未命中 CV 分支,落回 [ɪ] |
ʃ ɪ |
er(词尾) |
("", "er", "#", "ɚ") |
ɚ(这条是罕见的巧合) |
xi |
x → k s;i → [ɪ] |
k s ɪ |
所以「拼音当歌词」不是"没声音",而是"读出另一门语言"。它甚至会改变音节数:hua 变成 [h ʌ æ] 后有两个元音,syllabify_segments 会把它切成两个音节,一个词吃掉两个音符,然后撞上 N syllables for M notes。
那正确的标注位在哪?仓库里其实有两个,只是都不在歌词框:
其一是 IPA 输入。 tokenizeIpa 接受 IPA 字符串,支持主重音 ˈ、次重音 ˌ、长音 ː、连音线、塞擦音和双元音,甚至自己做了一套 NFC 归一化(crates/chimera/src/phonetics/ipa.rs)。chimera render speech out/zh "ˈni xɑʊ / ˈxua" 就是这条路。
但这里藏着第二个必翻车点:IPA 的字母表不是拼音的字母表。把拼音直接填进 IPA 框,命中的是另一套音:
| 字母 | 拼音含义 | 本仓库 IPA 含义 |
|---|---|---|
q |
送气清硬腭塞擦音 | 清小舌塞音(c("q", "voiceless uvular stop", ...)) |
x |
清硬腭擦音 [ɕ] | 清软腭擦音 [x] |
c |
送气清齿龈塞擦音 | 清硬腭塞音 [c] |
j |
清硬腭塞擦音 | 硬腭近音 [j] |
z |
不送气清齿龈塞擦音 | 浊齿龈擦音 [z] |
r |
卷舌近音 | 齿龈颤音(Manner::Trill,规划器会以约 26 Hz 反复闭合) |
其二是"显示拼写"与"发音拼写"分离。 Duet 页面早就需要这个能力:歌词按发音写成 owr 才能查到 our,于是在嘴边显示时要换回来。代码里叫 spell:
/** `spell` ({"owr": "our"}) writes a syllable spelled for the dictionary as it should read. */
export function sungWords(m: Melody, syls: Syllable[], spell: Record<string, string> = {}): SungWords
这正是中文场景该复用的思路:拼音负责发音,汉字负责显示。目前它只作用于"嘴边的字",不改变音素;要真正让一个汉字对应一组确定的音素,只能绕开歌词路径,直接构造 Syllable/Segment(Segment 的字段是 ipa、dur、stress、f0、wordEnd,已经足够表达),通过 WASM 的 planNoteOn/planNoteOff 送进去。多音字的消歧,最终必须发生在你自己那一层——引擎不会替你猜。
坑三:儿化音的撇号会被当成重音,r 色彩必须落在韵母上
中文用户写儿化,直觉是 hua'r 或 hua r。三种写法在这里会得到三种不同的错误。
先看 IPA 分词器对单引号的处理:
if ch == 'ˈ' || ch == '\'' {
stress = 1;
i += 1;
continue;
}
' 是主重音符号的别名。所以 hua'r 里的撇号被吃掉,r 作为辅音不消耗 stress,重音会顺延到它后面的第一个元音上——你以为在标儿化,实际在给下一个音节加重音。而如果走歌词路径,' 属于 is_word_start,会留在词里,g2p.word("hua'r") 查不到词典,letter_to_sound 跳过撇号并给词尾 r 一个 [ɹ],于是 hua'r 读成 [h ʌ æ ɹ],还要占两个音节。
更关键的是声学层面:普通话的儿化不是一个独立的 [ɹ] 音段,而是叠加在韵母上的卷舌动作。仓库里唯一为这件事准备的东西是 r 化元音:
pub fn expand(ipa: &str) -> Option<&'static [&'static str]> {
Some(match ipa {
...
"ɚ" => &["ɝ"],
_ => return None,
})
}
ɚ 直接展开成 ɝ,而 ɝ 的校准靶点里 ttCurl 是 1(满值),舌位是 ttX 5.642 / ttY 8.632。但 preset_vowel_artic 只拷贝 VOWEL_KEYS 里的九个键,舌叶坐标要额外搬一次,注释写得很直白:
// a rhotic's tip is raised and curled back, not resting behind the teeth: without its
// calibrated position the tip stayed down and /ɝ/'s F3 sat ~15–20 % high (weakly rhotic)
if v.artic.get(ArticKey::TtCurl).unwrap_or(0.0) > 0.05 {
if let Some(x) = v.artic.get(ArticKey::TtX) { out.set(ArticKey::TtX, x); }
if let Some(y) = v.artic.get(ArticKey::TtY) { out.set(ArticKey::TtY, y); }
}
也就是说:儿化的正确做法是把 r 色彩并进韵母,写成 ɚ/ɝ 这样的单元音,而不是在 coda 里追加一个 ɹ。 追加 ɹ 会得到一个完整的近音音段:在 crates/chimera/src/phonetics/inventory.rs 里它是 Manner::Approximant、时长 0.065 s,还要单独分配几千赫兹的过渡,听起来更像英语的 r,而不是「花儿」。
还有两个符号冲突值得记一笔:
- 歌词里独立的
-或~是 melisma(把上一个元音拖到下一个音高),但词内的-是显式音节切分(ti-ger→ti+ger)。写儿化时如果顺手加个连字符,可能把hua-r拆成两个音节而不是一次拖腔。 - 唱的时候双元音被按 0.8 / 0.2 切开(crates/chimera/src/phonetics/sing.rs),而说话时是 0.55 / 0.45(planner 的
expand分支)。这意味着同一个aɪ,唱出来时韵腹占绝对优势,韵尾只够做一个短短的滑动——中文的复韵母(ai/ei/ao/ou)在长音上会明显"前重后轻",这属于设计取向,但确实和汉语听感有出入。
坑四:断句位置直接改写整句的音高走向
这一坑最隐蔽,因为它不报错,只是"听起来怪"。断句在系统里是两级布尔位:
Segment.word_end:词边界。它决定 Klatt 时长规则里的"词内/词末",也决定英语闪音化和暗 l 的作用域(apply_allophones明确用!prev_word_end来阻止跨词闪音)。Syllable.phrase_end:短语边界。plan_song用它切分呼吸组,plan_phrases用它给每段单独规划语调和停顿。
先看时长。Klatt 规则(crates/chimera/src/phonetics/durations.rs)对元音是这样乘系数的:
if final_syl { p *= 1.4; } // clause-final lengthening
else { p *= 0.6; } // non-phrase-final shortening
...
if vowels_in_word > 1 { p *= 0.8; } // polysyllabic shortening
if stress == 0 { min *= 0.5; p *= 0.7; }
断句点选错,等于把 1.4 和 0.6 这两个系数用反:该拖长的句尾被压短,不该拖长的中间词被拉长。中文没有空格,如果你把整段拼音连写成一个"词",vowels_in_word > 1 会全程命中,还会触发 letter_to_sound 那句「stress the first vowel (crude but serviceable)」——整串只有第一个元音是主重音,其余全按 0 处理,再乘 0.7 并折半最小值。听感就是"第一个字重、后面全糊"。
再看音高。plan_utterance 的重音策略只有三个层级(0 / 1 / 2),核心重音的定义是:
// the nuclear accent: the phrase's last primary-stressed vowel, a bigger excursion that falls
// (statements) into the final low; earlier accents are smaller (a "hat" pattern)
具体地:
- 每个元音的基线是
f0 * (1 - 0.1 * prog) * acc,prog是它在整句里的位置比例。也就是说音高天然从前往后下降 10%; - 主重音乘
1 + accent(默认 0.14),次重音乘1 + accent * 0.5; - 句末若是陈述句,最后一个元音压到
f0 * 0.82;如果它正好是核心重音且时长超过 80 ms,还会先冲一个峰再落下来("帽形"); - 句末若是疑问句,直接抬到
f0 * 1.35。
所以断句位置决定了"哪个元音拿到核心重音",也就决定了整句的峰在哪里、尾巴往哪儿落。把「我爱你,中国」断成一句,核心重音落在最后一个主重音元音上,前面全部只吃 0.6 的缩短和线性下降;断成两句,第一段自己有一个核心重音、自己有一次 1.4 的句末延长、自己有一次 0.82 的收尾,然后停顿 0.25 s 再来第二段。同一串音节,两种断法,音高曲线完全是两条。
现实约束是:全角标点不会被识别成断句。is_phrase_punct 只认 .!?;:,,lyrics_to_syllables 只认 .,;:!? 与换行。中文的「,」「。」「?」在这里等于普通字符,会被静默丢弃。想让引擎断句,得把它换成半角,或者——更稳的做法——直接用换行,因为 \n 在歌词路径里确实会置 phrase_end = true。
坑五:声调没有通道,音段清单也不齐
最后一个坑是结构性的:这个引擎没有"声调"这个概念。
Segment 里与音高相关的字段只有两个:
/// 0 unstressed, 1 primary, 2 secondary
pub stress: Option<u8>,
/// explicit pitch (Hz) for this segment (singing)
pub f0: Option<f64>,
stress 是重音,不是调型:它只能抬高或压低基线的百分比,无法表达"高平 / 中升 / 降升 / 全降"这四种走向。f0 一旦给了,就是绝对频率,而且只在唱歌时用。写进 IPA 的调符(˥˦˧˨˩)会落在 known 集合之外,被 if !known.contains(tok.as_str()) { continue; } 直接丢掉——不报错,不发声,不给提示。
唱的时候更彻底:plan_song 把每个音符的音高算成 midi_to_hz(n.midi) 塞进 Segment.f0,然后统一用 sung: Some(true) 规划,句内语调被强制设为 Intonation::Flat。也就是说旋律一旦确定,声调信息就没有任何位置可以挂载。这也是"多音字靠声调区分"在歌声里失效的根本原因:即使你选对了读音,唱出来也只有音符,没有调。
音段清单同样不够用。MULTI 只列了十个多字符符号:
const MULTI: [&str; 10] = ["tʃ", "dʒ", "ts", "dz", "pf", "aɪ", "aʊ", "ɔɪ", "eɪ", "oʊ"];
普通话的三组塞擦音里,ts 有、tʃ/dʒ 有,但 tʂ、tʂʰ、tɕ、tɕʰ 都不存在,ɕ 在整个 inventory.rs 里一次都没出现过。可用的近似是 ʂ/ʐ(卷舌擦音,带 TtCurl)加 t 组成 tʂ,或者干脆退到 ʃ。送气对立也没有独立符号,只能靠 ControlKey::ABDUCTION 的强弱去凑——plan_utterance 给送气塞音 0.36、不送气 0.22,差别存在,但那是气流强度,不是 IPA 层面的 ʰ。
第一遍就不翻车的检查清单
把上面五个坑压成可执行的六条:
- 不要指望汉字进歌词框。 现在它只会产出空数组,然后回落成 [ɑ]。真要中文,先把文本转成 IPA,再走
tokenizeIpa/planUtterance。 - 拼音不要填进 IPA 框。
q/x/c/j/z/r在这套音系里是六个完全不同的音,r甚至是颤音。 - 多音字在引擎外消歧。 唯一"真正生效"的标注是直接给出音素序列;显示层可以用
spell那套"发音拼写 → 显示拼写"的映射把汉字换回来。 - 儿化写成单元音
ɚ/ɝ,不要写成 codaɹ,更不要用撇号。 撇号在分词器里是主重音,会把重音挪到下一个元音上。 - 断句用半角标点或换行。 全角「,。?!」不产生
phrase_end,整段会共享一个核心重音、一次 1.4 的句末延长和一次 0.82 的收尾。 - 旋律会覆盖声调。 唱的时候
Intonation::Flat加显式f0,四声没有载体;需要声调就得在选音素阶段把调型"折算"成具体读音,而不是寄希望于规划器。
最后提醒一句工程约束:这些行为不是随手写的,它们被金测试锁住了。AGENTS.md 里写明"任何改变声音或计划的修改都会让 golden 测试失败,这是设计如此",重签要跑 CHIMERA_BLESS=1 cargo test --workspace --no-fail-fast 并跑两遍。也就是说,给中文加一条真正的 G2P 通路,不只是写个映射表,而是要同时改 Segment/Syllable 的语义边界、plan_utterance 的语调模型和整批 crates/chimera/tests/golden 基线。第一遍翻车是必然的;第二遍开始,才知道该动哪一层。