屏译OCR引擎内部实现:OcrEngine接口、RoutingOcrEngine路由与PaddleOCR推理管线拆解

原创2026-10-16 20:36:061,762 阅读
文章标签:移动开发原生移动AI 应用人工智能本地部署计算机视觉语音OCR

屏译OCR引擎内部实现:OcrEngine接口、RoutingOcrEngine路由与PaddleOCR推理管线拆解

屏译(overlay-translator)是一个无需 ROOT 的开源 Android 屏幕实时翻译工具,核心链路是「截屏 → OCR 识字 → 翻译 → 悬浮窗叠加显示」。本文带你拆解它 OCR 子系统的内部实现:统一的 OcrEngine 接口如何约束 12 种识别引擎、RoutingOcrEngine 如何按配置路由并做段落合并,以及 PaddleOcrEngine 端侧推理管线从 DBNet 检测到 CRNN+CTC 识别的完整步骤。

游戏画面实时翻译叠加效果,屏译OCR引擎识别后把译文直接显示在游戏画面上

无论是游戏对话、视觉小说还是漫画,按下悬浮球后译文会盖回原文附近。而这一切的第一步,就是把截图里的文字准确「抠」出来——这正是 OCR 引擎层的职责。

一、OcrEngine 接口:只有三个方法的契约

所有 OCR 引擎都实现同一个极简接口,定义在 OcrEngine.kt:

interface OcrEngine {
    suspend fun recognize(bitmap: Bitmap, kind: OcrEngineKind): List<TextBlock>
    suspend fun recognize(bitmap: Bitmap, kind: OcrEngineKind, settings: Settings): List<TextBlock>
    fun close()
}

这个契约有三个设计要点:

  • 输入是 Bitmap,输出是 TextBlock 列表。区域裁剪由调用方负责,引擎只关心「给我图,还你带坐标的文字块」。输出结构 TextBlock 包含文本、屏幕坐标 boundingBox、置信度、语言、横竖排方向等字段,供上层叠加层直接定位译文。
  • suspend 挂起函数:OCR 是 CPU/网络密集型操作,全部放在协程中执行,不阻塞 UI。
  • close() 释放底层资源:ML Kit recognizer、ONNX Runtime session 都在这里统一回收。

另外接口旁边还定义了一个 ModelNotReadyException:当端侧模型未下载或损坏时抛出,截屏服务捕获后会引导用户去设置页下载模型,而不是直接崩溃。

二、RoutingOcrEngine:一个入口路由到 12 种 OCR 引擎

引擎目录 OcrEngineCatalog

支持哪些引擎、如何分组,由 OcrEngineCatalog.kt 统一管理,按三组组织:

分组 引擎 说明
端侧 ON_DEVICE ML Kit(自动/日/韩/中/拉丁)、PaddleOCR、日漫 OCR 离线可用,图不上传
本地 LOCAL Umi-OCR、LunaTranslator 局域网 HTTP 服务,PC 算力接入
云端 CLOUD 百度、腾讯、有道、PP-OCRv6 在线 需要 API Key,作为兜底

枚举本体定义在 Settings.kt,每个值都注释了网络依赖和模型要求。

路由与性能观测

RoutingOcrEngine 注入全部 9 个底层引擎,核心分发逻辑在 recognizeRaw:按 OcrEngineKind 的 when 分支把 Bitmap 转交给对应引擎,未匹配的一律落到 ML Kit。在路由层还做了两件「全局」的事:

  • 性能打点:每次识别都会通过 RuntimePerformanceDiagnostics 记录耗时(按引擎 + 图片尺寸建立 key),为性能页提供数据;
  • 自动模式:当 kind 为 ML_KIT_AUTO 时交给 AutomaticOcrRecognizer。它先用 ML Kit 四套识别器(日/韩/中/拉丁)各跑一遍「引导」,用语言识别器给每个文本块打标签,再按证据打分选出最佳语言组,最后只对检出的语言做一次针对性精化识别——一个孤立 "OK" 不会短路整个 CJK 识别。

识别之后:段落合并 mergeAdjacentBlocks

OCR 引擎的行级输出往往是碎片:一句话被拆成 5 个相邻小框,译文层就会互相重叠。RoutingOcrEngine 在 mergeAdjacentBlocks 中做两阶段聚类:

  1. 同线合并:横排把同行左右紧邻的小框用空格拼起来;竖排把同列上下接续的框换行拼接;
  2. 段落合并:把「主轴对齐 + 次轴邻接」的多行合成一个段落,竖排日漫还按 right-to-left 顺序拼列。

方向由 detectMergeOrientation 自动探测:统计框的高宽比,竖形框占比过半(或存在 ≥3 个高>5×宽 的强竖框)即判为竖排。合并力度有三档预设(保守/标准/激进),阈值封装在 MergeParams 中,用户在设置里切换即可。整个合并过程用 OcrMerge 标签打详细日志,方便诊断「为什么这两段没合上」。

屏译悬浮窗翻译效果:日文原文与中文译文同时显示在视觉小说画面中

三、PaddleOCR 端侧推理管线逐步拆解

PaddleOcrEngine 是基于 ONNX Runtime Android 的纯 Kotlin 端侧实现,不需要打包任何 native .so。支持 PP-OCRv5 mobile 和 PP-OCRv6 tiny 两档模型按需下载,整体数据流为:

Bitmap → DBNet 检测出四角框 → 逐框裁剪 + 透视矫正 → CRNN 识别 → CTC 解码 → 文本

第 1 步:模型加载与会话复用

ensureReady 在每次识别前被调用:版本切换时释放旧的 det/rec 两个 OrtSession 并强制重载;版本未变且会话就绪则直接复用。加载时会校验模型文件存在性、计算 SHA-256 指纹写日志,并解析官方 inference.yml 内嵌的 character_dict 词表(字典是 CTC 解码的字符表,见 parseYamlDict)。

第 2 步:文本检测(DBNet)与纯 Kotlin 后处理

detectQuads 是检测主入口,内部管线:

  1. 缩放规划:PaddleDetectionSizing.plan 把长边缩到 profile 指定的 maxSideLen,并对齐到 32 的倍数;
  2. 像素归一化:bitmapToNCHW 把 Bitmap 转成 NCHW float 张量。这里有个关键细节——PaddleOCR 训练时按 OpenCV 的 BGR 顺序读图,而 Android Bitmap 是 RGB,代码里显式交换了 R/B 通道,否则识别全错;
  3. 推理:输出 H×W 概率图,坐标按 outputScale 还原到原图;
  4. 后处理:DBPostprocessor 用纯 Kotlin 实现了 PaddleOCR 官方流水线「二值化 → BFS 连通域 → 凸包 → 最小外接旋转矩形 → 得分复核 → unclip 外扩」,全程不依赖 OpenCV/pyclipper。

对大尺寸漫画页面,detectQuadsForRecognition 还会叠加 分块 tiling:把大图切成重叠瓦片在全分辨率下跑检测,再与整图结果去重合并(瓦片结果优先保留更精细的框);另有粗分辨率补充通道专门找回被缩放过小的大字。

第 3 步:文本识别(CRNN + CTC)与竖排旋转

对每个检测出的四角框,prepareRecognitionCrop 先做三件事:

  • 透视矫正:warpCropQuad 用 Matrix.setPolyToPoly 把 4 点 quad 映射成水平矩形,等价于 OpenCV 的 warpPerspective;
  • 竖排旋转:若裁剪图高 > 宽 1.5 倍,逆时针旋转 90°,让 rec 模型按横排理解,同时保持「从上到下」的阅读顺序;
  • 尺寸规划:PaddleRecognitionSizing.plan 把高度归一到 48,宽度按原比例缩放,上限 3200。

随后 recognizeQuads 按批次(batch)跑 CRNN 会话,失败的批自动降级为串行识别。模型输出的逐步 logits 由 ctcDecodeWithStats 做贪心 CTC 解码:每步取最大概率,去除 blank 和连续重复,按字典索引查字符,同时累计置信度。最后 PaddleRecognitionAcceptancePolicy 按最低置信度过滤噪声结果,存疑的整行直接丢弃而不是输出乱码。

每次检测/识别都打全阶段耗时日志(resize、NCHW、buffer、tensor、infer、post 各阶段微秒级计时),并通过 ReusableDirectBufferPool 复用输入 DirectBuffer,减少端侧 GC 压力。

四、从 TextBlock 到屏上译文

引擎层结束的地方,就是渲染层开始的地方。合并后的每个 TextBlock 都携带屏幕坐标系的 boundingBox,悬浮窗直接按坐标把译文贴在原文附近(紧贴原文或自动适配两种模式),竖排内容则交给竖排排版组件按 right-to-left 布局。用户也可以通过悬浮球长按弹出弧形菜单随时切换模式:

悬浮球长按弹出的弧形快捷菜单,包含循环翻译、重选区域等动作

五、如何快速定位相关源码

一句话总结屏译 OCR 层的设计哲学:接口只做三件事(识别、带配置识别、关闭),路由负责分发与「把碎片拼回段落」,具体引擎各自把模型细节封装干净。这也是为什么新增一种识别引擎时,只需实现一个接口并在路由里加一个分支,上层叠加、翻译、TTS 全链路无需任何改动。

登录后查看全文
overlay-translator