为什么Mozkey能避免"mainに"被误转?左文脈转换补正的完整原理

原创2026-11-15 10:20:442,288 阅读

为什么Mozkey能避免"mainに"被误转?左文脈转换补正的完整原理

Mozkey 是基于 Mozc 的本地优先日语输入法(Japanese IME),它的核心能力之一是左文脈转换补正:在输入 mainに 这类「英文词 + 助词」时,借助已确定的左文脈(left context)对候选词重新排序,抑制 に 被误转为 二、弐、2 等同音汉字的常见错误。下文用通俗方式拆解这套机制的实现原理。

Mozkey输入阶段示意图:展示Direct、Precomposition、Composition、Suggestion、Conversion、Prediction六个输入模式,说明左文脈转换补正发生的位置

一、问题根源:助词 に 为什么总被"吃掉"

に 是日语中使用频率极高的助词,但读音 "ni" 同时对应大量内容词:

  • 汉字:二、似、荷、弐
  • 数字:2、Ⅱ
  • 带浊点的假名:に゛

输入法引擎的打分系统(基于词典 cost)并不知道 main 后面跟的 に 几乎必然是格助词。于是当同音候选的内部 cost 更低时,mainにマージしました 就可能变成:

  • ❌ main二マージしました
  • ❌ mainニマージしました

传统解法是"加大助词权重",但这会误伤 二 本身就该是数字的场景(如 候補は二しかない)。Mozkey 的做法更精细:只在左文脈像"名词"时才补正,且只调整候选顺序,不改写词典本身。

二、机制总览:三步走

整个补正由引擎层的 ContextualCandidateReranker 完成,定义见 contextual_candidate_reranker.h。它在每次转换生成候选后介入,流程如下:

步骤 做什么 关键判断
1️⃣ 获取左文脈 读取最近一次确定(commit)的文本 内部 history segment 优先,客户端 preceding_text 兜底
2️⃣ 判定"名词性" 判断左文脈是否像名词/英文词/片假名 含汉字、片假名或 ASCII 字母/数字即视为名词性
3️⃣ 重排候选 对助词段的候选做加减分后稳定排序 纯假名助词加分,可疑同音候选减分

调用点在转换主流程中,位于候选生成之后(engine_converter.cc):

ContextualCandidateReranker contextual_candidate_reranker;
contextual_candidate_reranker.Rerank(&segments_, context.preceding_text());

三、关键细节拆解

3.1 左文脈从哪来?

  • 首选:Mozc 内部维护的 history segment(上次确定文字的转换历史),见 PreviousContextLooksNounLike。
  • 兜底:当内部历史缺失时(例如用户在 IME 关闭状态下直接敲了 main 再开输入法),使用操作系统提供的 preceding_text 外部左文脈。这一设计源自 Mozc 的 surrounding text 支持,参考 surrounding_text.md。

外部文脈只是"排名提示"而非证据,因此只在非常严格的条件下使用(仅针对 に + 指示词续接的弱信号场景),避免干扰正常数字+量词的表达。

3.2 什么算"名词性"左文脈?

判定逻辑刻意保守:左文脈含汉字、含片假名、或类似 ASCII/符号(字母、数字及 - _ # / .)才视为名词性。同时排除两类误判来源:

  • 左文脈以 。!??;; 或换行结尾 → 属于句界,不接续;
  • 左文脈以 は、も、なら 结尾 → 这是"主题框架"(如 候補は),不能据此把 二 判成助词。

3.3 加减分如何生效?

助词按可靠性分档加权(ParticleBonus):

助词 加分 说明
に・を・が・へ・で +5000 格助词,误转损失最大
は・も +4000 主题助词,略保守
と・の +2500 多义性高,权重最低

随后对候选做对称调整:纯假名助词候选减分(更容易胜出),同音可疑候选加分(排名下沉),最后稳定排序(RerankParticleSegmentAfterContext)。排序前还会检查右文脈是否为合理的语法续接(动词、名词或片假名接续),避免在孤立环境中强行干预。

项目还保留了专门的回归测试,锁死 mainに 这个经典案例——に゛ 的原始 cost 远低于 に,补正后 に 必须排到第一(contextual_candidate_reranker_test.cc):

AddHistorySegment(&segments, "main", "main");  // 左文脈
// 原始顺序: に゛(4258) < 二(4258) < に(9352)
// Rerank 后第一候选必须是 "に"

四、不止 に:同一套思想的延伸

左文脈补正并非只处理单个 に。同一重排器中还内置了几条姊妹规则(主循环见 Rerank):

场景 输入示例 补正效果
复合功能词 githubには 优先 には 而非 二は、2は
叙述功能语列 彼になった、彼なのか 避免 担った、七日 等内容词吞掉助词
否定功能表达 2名しかいない 避免 司会、視界、歯科医 抢位
地名接尾构成 滋賀方面、山梨県立美術館 抑制 子が方面、率美術館 式断裂

这些规则共享同一个设计哲学:用"保守启发式 + 分档权重"做候选重排,而不是强行改写结果。左文脈证据不足时宁可不动(如句界、主题框架、纯括号后),把决策权留给词典原有的 cost 体系。

五、相关文件导读 📂

想深入源码的读者可以从这里入手:

六、小结

Mozkey 解决 mainに 误转的思路可以概括为一句话:把"左边的词像不像名词"翻译成候选排序的加减分,且证据不足时保持沉默。这种"上下文敏感的候选重排"既保留了 Mozc 词典的既有质量,又用极小的规则面修掉了体验上最刺眼的同音误转——对日常写技术文档、代码评审记录的日语用户来说,这正是一个"用久了才懂它好在哪"的本地优先补正。

登录后查看全文
mozkey