PlayTranslate的OCR秘密:ML Kit、PaddleOCR、Meiki与MangaOCR多引擎管线深度解析
PlayTranslate的OCR秘密:ML Kit、PaddleOCR、Meiki与MangaOCR多引擎管线深度解析
PlayTranslate 是一款免费、可离线运行的 Android 实时翻译应用,能把游戏、视觉小说和漫画屏幕上的外文实时识别并翻译。它的文字识别核心,是由 ML Kit、PaddleOCR、Meiki 与 MangaOCR 组成的多引擎 OCR 管线——本文带你读懂这条管线是如何分工协作、自动降级、并针对日文和漫画场景做专门优化的。
为什么是"多引擎"?一个接口统一四种 OCR
不同引擎各有所长:ML Kit 免下载但通用性强;PaddleOCR 和 Meiki 是下载模型包后精度更高的本地引擎;MangaOCR 则是漫画对话气泡的"特种兵"。为了随时替换引擎而不改动上层逻辑,PlayTranslate 用组合模式(Composite Pattern)把"检测 + 识别"抽象成一个统一接口:
无论是单一模型的叶子引擎,还是"检测器 + 识别器"的复合引擎,都实现同一个
OcrEngine接口。管线只和接口打交道,换引擎 = 换一棵实现树。
—— 契约定义见 OcrEngine.kt
每个引擎还自带一张"能力说明书" OcrCapabilities:是否支持竖排文字、是否输出逐字符坐标框、是否自带图像预处理、是否可并发调用等。下游功能(如拖拽查词、假名注音)会读取它来优雅降级。
真正跑一次 OCR 的总指挥是 OcrPipeline.kt 中的 OcrPipeline.run(),流程为:
截图 → 图像预处理 → 引擎识别 → 文本归一化 → 段落分组 → (可选) MangaOCR 精修 → 输出
整个过程都在后台线程执行,避免阻塞主线程(源码注释里还记录了一次因同步 MNN 引擎阻塞主线程导致 ANR 的修复过程)。
ML Kit:零下载的"兜底基线"
ML Kit 是每种语言的默认保底引擎(代码里叫 mlKitFloor),无需下载任何模型包,装上应用即可工作。它按语言分别构建:
| 语言 | 构建方式 |
|---|---|
| 日文 | JapaneseTextRecognizerOptions |
| 中文 | ChineseTextRecognizerOptions |
| 韩文 | KoreanTextRecognizerOptions |
| 拉丁文 | TextRecognizerOptions.DEFAULT_OPTIONS |
对应代码在 OcrEngineRegistry.kt,适配层 MlKitOcr.kt 则把 ML Kit 的异步回调包装成了 Kotlin 挂起函数。
ML Kit 的短板是它不会自己做归一化,所以管线会先给它"喂"一张预处理过的图:缩放 + 灰度化 + sigmoid 对比度增强(k=7),并在检测到深色背景时自动反色。这个预处理配方经过 16 个真实游戏画面的"金标准集"实测——sigmoid k=7 比旧版线性对比度减少了约 40% 的识别错误,细节见 OcrPreprocessingRecipe.kt。
PaddleOCR:MNN 驱动的本地精度引擎
当你在设置里选择 PaddleOCR(精确档或快速档)并下载完识别包后,真正干活的是 PaddleOcrBridge.kt。它的架构很有工程味道:
- 检测器随 APK 内置:
assets/ocr/paddle_det.mnn这个 DBNet 文本检测模型直接打包进应用(见 paddle_det.mnn),首次使用时校验 SHA-256 后原子复制到应用私有目录——版本升级时自动替换旧模型,拷贝中断也绝不会留下半截文件。 - 识别器按语言下载:各语言的识别包(如统一的
paddle-rec-unified)包含rec.mnn+keys.txt字符表,放在models/<packKey>/下;缺文件就安静地退回 ML Kit。 - 两套速度档位:快速档使用 fp16 精度 + 960px 检测上限,在 1080p 画面上端到端约快 3.5 倍;精确档保持 fp32 生产默认值。两档共享同一份模型文件。
检测器输出带 4 角点透视四边形的文本框(见 PaddleDetector.kt),倾斜文字会先按真实角度"旋正"再识别。对拉丁、西里尔、韩语这类单词间有空格的语言,DBNet 会把一行拆成逐词小框,DetectThenRecognize.kt 中的 LineAssembler 会在识别后把它们重新拼回整行;无空格语言的 CJK 则原样保留,以兼容竖排。
所有模型都由 MNN 推理引擎加载,模型的原始 Paddle/ONNX 权重到 MNN 的完整转换流程(paddle2onnx → mnnconvert)记录在 scripts/ocr-model-conversion/README.md 中,想复现构建可以照着走一遍。
Meiki:为日文量身打造的检测-识别组合
Meiki 是专注日语识别的开源 OCR 包,PlayTranslate 用它服务日文源语言(pack 名 meiki-ja)。它的模型布局一目了然(见 MeikiBridge.kt):
det.mnn—— D-FINE 文本区域检测器rec_horizontal.mnn—— 横排文字识别器rec_vertical.mnn—— 竖排文字识别器
横排、竖排各配一个识别器,是 Meiki 适配日文竖排(tategaki)书写的直接体现——游戏和视觉小说里大量出现的竖排对白正是它的主场。与 Paddle 一样,Meiki 引擎是"检测器 + 识别器"复合体,通过 MeikiDetector.kt 产出轴对齐文本框,识别器按框的宽高比选择横/竖模型。
MangaOCR:漫画气泡的"精修专家"
前面三个引擎负责"读出来",MangaOCR 负责"读得更准"——它是一个可选的事后精修器,不参与主流程,而是等基础引擎完成识别和段落分组后,对符合条件的文本块二次解码:
- 只处理"小而有把握"的块:单行 ≤ 20 字、总行数 ≤ 8、块总长 ≤ 96 字,斜率不一致的混合块会被跳过(限制来源见 MangaOcrRefiner.kt);
- 把整个气泡裁剪喂给视觉 encoder-decoder,一次解码读多行,比逐行切图效果好得多;
- 解码结果要与基础引擎的行文本做对齐(
BlockTextAligner),位置信息始终继承基础引擎的真实字符框,对齐失败或疑似幻觉的读数会被拒绝,保留基础结果; - 解码带步数预算、且每一步都检查取消信号——被新帧取代的旧画面会中途放弃,绝不拖慢实时捕获。
它被刻意设计为"尽力而为":精修失败永远不影响主识别结果。启用条件见 OcrManager.kt:日语源语言 + arm64 设备 + 模型包已安装 + 用户开关打开。
引擎选择与降级:一套纯函数规则
"到底该跑哪个引擎?"由 OcrModelManager.kt 用一组纯函数(无 I/O、可单测)统一裁决:
- 用户在设置里显式选的引擎(token 持久化在 Prefs)——若其模型包已在磁盘上,直接用;
- 否则取该语言默认引擎(其包已下载即可解析);
- 否则回落到免下载的 ML Kit 兜底;
- ML Kit 也不覆盖的语言(如西里尔文)在无可用包时给出"空引擎",管线优雅地输出"无文字"而非崩溃。
这套机制还有两个贴心设计:
- 切换引擎不删旧包:
required / retained两个集合的集合运算保证换引擎时旧模型留在磁盘上,随时免费切回;只有移除源语言才会清出孤儿包。 - 慢速救援:如果当前引擎识别拖慢了实时捕获,系统会主动提议切换到 ML Kit(延迟与文字密度无关)或 Paddle 快速档。
上手建议:如何选择你的 OCR 引擎
- 快速体验、不想下模型:保持 ML Kit 默认即可,通用场景足够。
- 玩日文游戏/视觉小说:下载 Meiki 包,竖排文本优势明显。
- 漫画阅读:开启 MangaOCR 精修开关(需 arm64 设备 + 模型包),手绘对话气泡识别率最佳。
- 追求低延迟:选 PaddleOCR 快速档;追求极限精度则用精确档。
- 32 位设备:MNN 引擎不可用(
:mnn模块仅 arm64),系统会自动只给你可用的引擎选项,不会白白下载模型。
小结
PlayTranslate 的 OCR 不是一个模型,而是一套接口统一、能力自描述、可插拔、可降级、可精修的管线:ML Kit 保底、PaddleOCR 与 Meiki 按语言精度加码、MangaOCR 对漫画气泡做最后把关。想深入阅读,建议从 OcrPipeline.kt 的 run() 入口出发,再顺着 DetectThenRecognize.kt 和 OcrModelManager.kt 走一遍——这就是从一张截图到一段译文的全部秘密。