PlayTranslate的OCR秘密:ML Kit、PaddleOCR、Meiki与MangaOCR多引擎管线深度解析

原创2026-10-13 23:21:041,415 阅读

PlayTranslate的OCR秘密:ML Kit、PaddleOCR、Meiki与MangaOCR多引擎管线深度解析

PlayTranslate 是一款免费、可离线运行的 Android 实时翻译应用,能把游戏、视觉小说和漫画屏幕上的外文实时识别并翻译。它的文字识别核心,是由 ML Kit、PaddleOCR、Meiki 与 MangaOCR 组成的多引擎 OCR 管线——本文带你读懂这条管线是如何分工协作、自动降级、并针对日文和漫画场景做专门优化的。

为什么是"多引擎"?一个接口统一四种 OCR

不同引擎各有所长:ML Kit 免下载但通用性强;PaddleOCR 和 Meiki 是下载模型包后精度更高的本地引擎;MangaOCR 则是漫画对话气泡的"特种兵"。为了随时替换引擎而不改动上层逻辑,PlayTranslate 用组合模式(Composite Pattern)把"检测 + 识别"抽象成一个统一接口:

无论是单一模型的叶子引擎,还是"检测器 + 识别器"的复合引擎,都实现同一个 OcrEngine 接口。管线只和接口打交道,换引擎 = 换一棵实现树。

—— 契约定义见 OcrEngine.kt

每个引擎还自带一张"能力说明书" OcrCapabilities:是否支持竖排文字、是否输出逐字符坐标框、是否自带图像预处理、是否可并发调用等。下游功能(如拖拽查词、假名注音)会读取它来优雅降级。

真正跑一次 OCR 的总指挥是 OcrPipeline.kt 中的 OcrPipeline.run(),流程为:

截图 → 图像预处理 → 引擎识别 → 文本归一化 → 段落分组 → (可选) MangaOCR 精修 → 输出

整个过程都在后台线程执行,避免阻塞主线程(源码注释里还记录了一次因同步 MNN 引擎阻塞主线程导致 ANR 的修复过程)。

ML Kit:零下载的"兜底基线"

ML Kit 是每种语言的默认保底引擎(代码里叫 mlKitFloor),无需下载任何模型包,装上应用即可工作。它按语言分别构建:

语言 构建方式
日文 JapaneseTextRecognizerOptions
中文 ChineseTextRecognizerOptions
韩文 KoreanTextRecognizerOptions
拉丁文 TextRecognizerOptions.DEFAULT_OPTIONS

对应代码在 OcrEngineRegistry.kt,适配层 MlKitOcr.kt 则把 ML Kit 的异步回调包装成了 Kotlin 挂起函数。

ML Kit 的短板是它不会自己做归一化,所以管线会先给它"喂"一张预处理过的图:缩放 + 灰度化 + sigmoid 对比度增强(k=7),并在检测到深色背景时自动反色。这个预处理配方经过 16 个真实游戏画面的"金标准集"实测——sigmoid k=7 比旧版线性对比度减少了约 40% 的识别错误,细节见 OcrPreprocessingRecipe.kt。

PaddleOCR:MNN 驱动的本地精度引擎

当你在设置里选择 PaddleOCR(精确档或快速档)并下载完识别包后,真正干活的是 PaddleOcrBridge.kt。它的架构很有工程味道:

  • 检测器随 APK 内置:assets/ocr/paddle_det.mnn 这个 DBNet 文本检测模型直接打包进应用(见 paddle_det.mnn),首次使用时校验 SHA-256 后原子复制到应用私有目录——版本升级时自动替换旧模型,拷贝中断也绝不会留下半截文件。
  • 识别器按语言下载:各语言的识别包(如统一的 paddle-rec-unified)包含 rec.mnn + keys.txt 字符表,放在 models/<packKey>/ 下;缺文件就安静地退回 ML Kit。
  • 两套速度档位:快速档使用 fp16 精度 + 960px 检测上限,在 1080p 画面上端到端约快 3.5 倍;精确档保持 fp32 生产默认值。两档共享同一份模型文件。

检测器输出带 4 角点透视四边形的文本框(见 PaddleDetector.kt),倾斜文字会先按真实角度"旋正"再识别。对拉丁、西里尔、韩语这类单词间有空格的语言,DBNet 会把一行拆成逐词小框,DetectThenRecognize.kt 中的 LineAssembler 会在识别后把它们重新拼回整行;无空格语言的 CJK 则原样保留,以兼容竖排。

所有模型都由 MNN 推理引擎加载,模型的原始 Paddle/ONNX 权重到 MNN 的完整转换流程(paddle2onnx → mnnconvert)记录在 scripts/ocr-model-conversion/README.md 中,想复现构建可以照着走一遍。

Meiki:为日文量身打造的检测-识别组合

Meiki 是专注日语识别的开源 OCR 包,PlayTranslate 用它服务日文源语言(pack 名 meiki-ja)。它的模型布局一目了然(见 MeikiBridge.kt):

  • det.mnn —— D-FINE 文本区域检测器
  • rec_horizontal.mnn —— 横排文字识别器
  • rec_vertical.mnn —— 竖排文字识别器

横排、竖排各配一个识别器,是 Meiki 适配日文竖排(tategaki)书写的直接体现——游戏和视觉小说里大量出现的竖排对白正是它的主场。与 Paddle 一样,Meiki 引擎是"检测器 + 识别器"复合体,通过 MeikiDetector.kt 产出轴对齐文本框,识别器按框的宽高比选择横/竖模型。

MangaOCR:漫画气泡的"精修专家"

前面三个引擎负责"读出来",MangaOCR 负责"读得更准"——它是一个可选的事后精修器,不参与主流程,而是等基础引擎完成识别和段落分组后,对符合条件的文本块二次解码:

  • 只处理"小而有把握"的块:单行 ≤ 20 字、总行数 ≤ 8、块总长 ≤ 96 字,斜率不一致的混合块会被跳过(限制来源见 MangaOcrRefiner.kt);
  • 把整个气泡裁剪喂给视觉 encoder-decoder,一次解码读多行,比逐行切图效果好得多;
  • 解码结果要与基础引擎的行文本做对齐(BlockTextAligner),位置信息始终继承基础引擎的真实字符框,对齐失败或疑似幻觉的读数会被拒绝,保留基础结果;
  • 解码带步数预算、且每一步都检查取消信号——被新帧取代的旧画面会中途放弃,绝不拖慢实时捕获。

它被刻意设计为"尽力而为":精修失败永远不影响主识别结果。启用条件见 OcrManager.kt:日语源语言 + arm64 设备 + 模型包已安装 + 用户开关打开。

引擎选择与降级:一套纯函数规则

"到底该跑哪个引擎?"由 OcrModelManager.kt 用一组纯函数(无 I/O、可单测)统一裁决:

  1. 用户在设置里显式选的引擎(token 持久化在 Prefs)——若其模型包已在磁盘上,直接用;
  2. 否则取该语言默认引擎(其包已下载即可解析);
  3. 否则回落到免下载的 ML Kit 兜底;
  4. ML Kit 也不覆盖的语言(如西里尔文)在无可用包时给出"空引擎",管线优雅地输出"无文字"而非崩溃。

这套机制还有两个贴心设计:

  • 切换引擎不删旧包:required / retained 两个集合的集合运算保证换引擎时旧模型留在磁盘上,随时免费切回;只有移除源语言才会清出孤儿包。
  • 慢速救援:如果当前引擎识别拖慢了实时捕获,系统会主动提议切换到 ML Kit(延迟与文字密度无关)或 Paddle 快速档。

上手建议:如何选择你的 OCR 引擎

  • 快速体验、不想下模型:保持 ML Kit 默认即可,通用场景足够。
  • 玩日文游戏/视觉小说:下载 Meiki 包,竖排文本优势明显。
  • 漫画阅读:开启 MangaOCR 精修开关(需 arm64 设备 + 模型包),手绘对话气泡识别率最佳。
  • 追求低延迟:选 PaddleOCR 快速档;追求极限精度则用精确档。
  • 32 位设备:MNN 引擎不可用(:mnn 模块仅 arm64),系统会自动只给你可用的引擎选项,不会白白下载模型。

小结

PlayTranslate 的 OCR 不是一个模型,而是一套接口统一、能力自描述、可插拔、可降级、可精修的管线:ML Kit 保底、PaddleOCR 与 Meiki 按语言精度加码、MangaOCR 对漫画气泡做最后把关。想深入阅读,建议从 OcrPipeline.kt 的 run() 入口出发,再顺着 DetectThenRecognize.kt 和 OcrModelManager.kt 走一遍——这就是从一张截图到一段译文的全部秘密。

登录后查看全文
playtranslate