为什么Mozkey能避免"mainに"被误转?左文脈转换补正的完整原理
为什么Mozkey能避免"mainに"被误转?左文脈转换补正的完整原理
Mozkey 是基于 Mozc 的本地优先日语输入法(Japanese IME),它的核心能力之一是左文脈转换补正:在输入 mainに 这类「英文词 + 助词」时,借助已确定的左文脈(left context)对候选词重新排序,抑制 に 被误转为 二、弐、2 等同音汉字的常见错误。下文用通俗方式拆解这套机制的实现原理。
一、问题根源:助词 に 为什么总被"吃掉"
に 是日语中使用频率极高的助词,但读音 "ni" 同时对应大量内容词:
- 汉字:二、似、荷、弐
- 数字:2、Ⅱ
- 带浊点的假名:に゛
输入法引擎的打分系统(基于词典 cost)并不知道 main 后面跟的 に 几乎必然是格助词。于是当同音候选的内部 cost 更低时,mainにマージしました 就可能变成:
- ❌
main二マージしました - ❌
mainニマージしました
传统解法是"加大助词权重",但这会误伤 二 本身就该是数字的场景(如 候補は二しかない)。Mozkey 的做法更精细:只在左文脈像"名词"时才补正,且只调整候选顺序,不改写词典本身。
二、机制总览:三步走
整个补正由引擎层的 ContextualCandidateReranker 完成,定义见 contextual_candidate_reranker.h。它在每次转换生成候选后介入,流程如下:
| 步骤 | 做什么 | 关键判断 |
|---|---|---|
| 1️⃣ 获取左文脈 | 读取最近一次确定(commit)的文本 | 内部 history segment 优先,客户端 preceding_text 兜底 |
| 2️⃣ 判定"名词性" | 判断左文脈是否像名词/英文词/片假名 | 含汉字、片假名或 ASCII 字母/数字即视为名词性 |
| 3️⃣ 重排候选 | 对助词段的候选做加减分后稳定排序 | 纯假名助词加分,可疑同音候选减分 |
调用点在转换主流程中,位于候选生成之后(engine_converter.cc):
ContextualCandidateReranker contextual_candidate_reranker;
contextual_candidate_reranker.Rerank(&segments_, context.preceding_text());
三、关键细节拆解
3.1 左文脈从哪来?
- 首选:Mozc 内部维护的 history segment(上次确定文字的转换历史),见 PreviousContextLooksNounLike。
- 兜底:当内部历史缺失时(例如用户在 IME 关闭状态下直接敲了
main再开输入法),使用操作系统提供的preceding_text外部左文脈。这一设计源自 Mozc 的 surrounding text 支持,参考 surrounding_text.md。
外部文脈只是"排名提示"而非证据,因此只在非常严格的条件下使用(仅针对 に + 指示词续接的弱信号场景),避免干扰正常数字+量词的表达。
3.2 什么算"名词性"左文脈?
判定逻辑刻意保守:左文脈含汉字、含片假名、或类似 ASCII/符号(字母、数字及 - _ # / .)才视为名词性。同时排除两类误判来源:
- 左文脈以
。!??;;或换行结尾 → 属于句界,不接续; - 左文脈以
は、も、なら结尾 → 这是"主题框架"(如候補は),不能据此把二判成助词。
3.3 加减分如何生效?
助词按可靠性分档加权(ParticleBonus):
| 助词 | 加分 | 说明 |
|---|---|---|
| に・を・が・へ・で | +5000 | 格助词,误转损失最大 |
| は・も | +4000 | 主题助词,略保守 |
| と・の | +2500 | 多义性高,权重最低 |
随后对候选做对称调整:纯假名助词候选减分(更容易胜出),同音可疑候选加分(排名下沉),最后稳定排序(RerankParticleSegmentAfterContext)。排序前还会检查右文脈是否为合理的语法续接(动词、名词或片假名接续),避免在孤立环境中强行干预。
项目还保留了专门的回归测试,锁死 mainに 这个经典案例——に゛ 的原始 cost 远低于 に,补正后 に 必须排到第一(contextual_candidate_reranker_test.cc):
AddHistorySegment(&segments, "main", "main"); // 左文脈
// 原始顺序: に゛(4258) < 二(4258) < に(9352)
// Rerank 后第一候选必须是 "に"
四、不止 に:同一套思想的延伸
左文脈补正并非只处理单个 に。同一重排器中还内置了几条姊妹规则(主循环见 Rerank):
| 场景 | 输入示例 | 补正效果 |
|---|---|---|
| 复合功能词 | githubには |
优先 には 而非 二は、2は |
| 叙述功能语列 | 彼になった、彼なのか |
避免 担った、七日 等内容词吞掉助词 |
| 否定功能表达 | 2名しかいない |
避免 司会、視界、歯科医 抢位 |
| 地名接尾构成 | 滋賀方面、山梨県立美術館 |
抑制 子が方面、率美術館 式断裂 |
这些规则共享同一个设计哲学:用"保守启发式 + 分档权重"做候选重排,而不是强行改写结果。左文脈证据不足时宁可不动(如句界、主题框架、纯括号后),把决策权留给词典原有的 cost 体系。
五、相关文件导读 📂
想深入源码的读者可以从这里入手:
- 重排器实现:src/engine/contextual_candidate_reranker.cc
- 类声明与
preceding_text约定:src/engine/contextual_candidate_reranker.h - 引擎调用点:src/engine/engine_converter.cc
- 回归测试用例:src/engine/contextual_candidate_reranker_test.cc
- surrounding text 设计背景:docs/design_doc/surrounding_text.md
- 功能总览与案例列表:README.md("确定済み左文脈を使った変換補正" 一节)
六、小结
Mozkey 解决 mainに 误转的思路可以概括为一句话:把"左边的词像不像名词"翻译成候选排序的加减分,且证据不足时保持沉默。这种"上下文敏感的候选重排"既保留了 Mozc 词典的既有质量,又用极小的规则面修掉了体验上最刺眼的同音误转——对日常写技术文档、代码评审记录的日语用户来说,这正是一个"用久了才懂它好在哪"的本地优先补正。
