无 GPU 旧服务器的新活法:批处理流水线被小模型改写
无 GPU 旧服务器的新活法:批处理流水线被小模型改写
一台没有显卡的 x86 服务器,32 个核,能把 PDF 和扫描件批量转成 Markdown、纯文本或带坐标的 JSON,吞吐接近每核 1.4 页/秒。这个数字之所以值得单独拿出来讨论,不是因为它的绝对精度(在 OmniParseBench 上综合 66.7 分,--math 时 71.4 分),而是因为它把 OCR 从“必须常驻占用 GPU 资源的高成本服务”重新降级成“可以塞进夜间批处理窗口的普通 CPU 作业”。
本文只回答三个问题:49 页/秒这个数字到底该怎么读;把它换成单位成本之后还剩多少优势;以及既然模型这么小,原有那条以“文件”为单位的批处理流水线该怎么改。
一、先把 49 页/秒这个数字拆开
社区口径里常见的数字是 32 核 49.4 页/秒,但仓库 README.md 的官方表格给的是 43.9 页/秒,正文摘要写“约 44 页/秒”,同一节又补充“在其他 x86 容器类型上实测 25 到 51 页/秒”。三处数字并不矛盾,只是测量方式不同:
- 官方吞吐表是同一台 AMD EPYC 9004 Genoa(34 核、无 GPU)、同一批 300 页 OmniParseBench 样本、每核一个单线程 worker、OCR 模式、默认设置;
- 模型加载与每 worker 的一次预热页不计入计时;
- 49.4 属于区间 25–51 的上沿,通常出现在缓存全热、页面构成偏简单的复现里。
所以工程上应当把 43.9 当成规划基线,把 25 当作悲观值,把 51 当作“别再往上规划”的天花板。
官方吞吐表(同机同页,单位:页/秒):
| 引擎 | 4 核 | 8 核 | 16 核 | 32 核 |
|---|---|---|---|---|
| Indra OCR | 6.2 | 11.9 | 23.7 | 43.9 |
| PaddleOCR PP-OCRv6 small(仅文本模型) | 0.65 | 1.24 | 2.42 | 4.28 |
| Tesseract 5 | 0.78 | 1.37 | 2.27 | 2.92 |
| PaddleOCR PP-StructureV3 | ≤0.022 | ≤0.044 | ≤0.089 | ≤0.18 |
几个容易被忽略的推论:
- 扩展效率是 88.5%,不是 100%。4 核到 32 核,核数涨 8 倍,吞吐涨 7.08 倍;单核产出从 1.55 页/秒降到 1.37 页/秒。这个衰减主要来自内存带宽、PDF 渲染和进程调度,属于正常的“每核一进程”模型代价。按日处理页数反推核数时,用 1.3 页/秒/核做预算比用 1.5 更稳。
- 旧机器上真正稀缺的是内存带宽,不是主频。当全部 worker 同时渲染 200dpi 页面时,瓶颈会从算力转到带宽;这也是为什么同一份代码在不同容器上能差出一倍(25 对 51 页/秒)。
- 延迟和吞吐要用两套数。README 给的单页中位数是 4 vCPU、auto 模式 212 ms;强制 OCR 模式 344 ms;开
--math357 ms。同一份文档里也说明,精度测试那套 harness 给每页 4 个线程,而吞吐那套每页 1 个线程,两者不可直接相除。按吞吐表倒推,单线程 worker 的每页占用约 730 ms,这与 4 线程 212 ms 的差距,正好解释了为什么“每核一进程、每进程单线程”在高并发下反而更划算:它换掉了单页延迟,换来了可预测的线性吞吐和不受线程争抢影响的尾延迟。
而 212 ms 与 344 ms 之间的差距(1.6 倍),全部来自一个开关:默认 auto 模式会先读 PDF 文本层,只有校验不通过才走 OCR。这一条比任何模型压缩都更能解释“为什么老服务器够用”。
二、1M 参数为什么够用:三个写死在配置里的数字
README 里“100 万参数”的说法容易被当成营销话术,但仓库里的配置文件给出了它成立的具体条件。
meta.json 里的预处理参数:
| 参数 | 值 | 含义 |
|---|---|---|
det_long_side |
1024 | 检测阶段把页面长边缩到 1024 像素 |
rec_height |
32 | 识别器输入的行高只有 32 像素 |
rec_window |
3 | 识别窗口参数 |
lm_params.cjk/world.gate |
0.95 | 低于该置信度的行才触发 n-gram 语言模型重打分 |
lm_params.*.alpha / beta |
0.2 / 1.5 | 语言模型浅融合的权重 |
一张 200dpi 的 A4 是 1654×2338 像素,长边缩到 1024 后只剩约 724×1024,也就是 0.74 百万像素送进检测网络;送进识别器的每一行文本高度仅 32 像素。这两条决定了 CNN 的算力下限,也决定了单核 1.37 页/秒是可信的——它不是“压缩模型换来的勉强能跑”,而是“输入分辨率本来就不高”。
更能说明问题的是 gate = 0.95。语言模型不是每行都跑,只有低置信行才进入重打分分支。这意味着整套系统在干净印刷体上有一半的计算路径根本不启动——省算力的关键从来不是把网络变浅,而是让大部分页走不到那条最贵的路径。
模型清单也能对上账。从仓库的 LFS 指针读出实际体积:
| 文件 | 体积 | 角色 |
|---|---|---|
lm_cjk.npz |
18.08 MB | 中日韩 n-gram 语言模型 |
lm.npz |
14.97 MB | 拉丁系 n-gram 语言模型 |
lm_world.npz |
11.10 MB | 其他文字体系 n-gram |
rec_cjk.onnx |
9.70 MB | 中日韩识别器 |
rec_world.onnx |
5.37 MB | 天城文、泰文、高棉文等 |
rec.onnx |
4.81 MB | 拉丁/西里尔/希腊 + 拉丁手写 |
rec_rtl.onnx |
4.59 MB | 阿拉伯、波斯、乌尔都、希伯来 |
order.onnx |
2.84 MB | 阅读顺序重排 |
det.onnx |
0.37 MB | 文本行检测 |
orient.onnx |
0.35 MB | 页面方向校正 |
script.onnx |
0.18 MB | 文字体系分类路由 |
mathcls/math_enc/math_dec_init/math_dec_step |
18.95 MB | 数学分支,按需下载 |
默认模型 72.36 MiB,全量 91.31 MiB。README 写的“约 76 MB”用的是十进制单位:语言模型 44.15 MiB = 46.3 MB,网络 28.21 MiB = 29.6 MB,加起来正好 76 MB。这种对得上账的细节,比任何“18MB 超轻量”的标题都更能说明仓库是诚实的。
顺带纠正一个流传较广的说法:社区文章常写“10 个 ONNX 模型”,而 config.json 里实际列了 12 个 .onnx(8 个默认网络 + 4 个数学分支)外加 3 个 .npz 语言模型和 1 个 meta.json。同一个文件的 note 字段还澄清了一件事:model.safetensors 只是为了让 Hub 统计参数量,推理包根本不加载它。所以“4.78MB 的 safetensors 也要下载”这个担心是多余的。
数学分支的规模同样可查:math_meta.json 里编码器高度 64、通道 192、6 个 block、2 层注意力 8 头,解码器 3 层 8 头,max_tokens 为 320。320 这个上限值得记住:它是单行公式的解码上限,超长多行公式会被截断,工程上应先把复杂公式拆成行再送进去,而不是指望模型自己撑住。
三、单位成本:一度电换 15 万页
把吞吐换算成钱,需要用几个明确假设。以下计算全部可复算,假设写在表里,读者可以替换成自己的电价和折旧口径。
以 43.9 页/秒、整机功耗 300W(32 核 EPYC + 内存 + 磁盘,不含显示器)计:
- 每页能耗 = 300 ÷ 43.9 ≈ 6.83 焦耳;
- 每百万页 = 6.83 × 10⁶ ÷ 3.6×10⁶ ≈ 1.9 kWh;
- 按 ¥0.55–0.80/kWh 的工商业电价,每百万页电费约 ¥1.0–1.5。
这个数字小到没有讨论价值。真正决定成本的是折旧和人力:
| 成本项 | 假设 | 10% 占空比 | 20% 占空比 | 50% 占空比 |
|---|---|---|---|---|
| 三年可处理页数 | 43.9 页/秒 × 3 年 | 415 M | 831 M | 2,077 M |
| 电费 | ¥0.65/kWh | ¥1.2 | ¥1.2 | ¥1.2 |
| 硬件折旧 | 存量机折算 ¥12,000 | ¥28.9 | ¥14.5 | ¥5.8 |
| 运维人力 | 0.5 FTE,¥25 万/年 | ¥903 | ¥452 | ¥181 |
| 合计(元/百万页) | ≈933 | ≈468 | ≈188 |
三个结论,顺序很重要:
第一,电费占比不到 1%,所以“旧服务器省电”是个伪命题。 复用存量硬件真正的收益是折旧项归零,而不是省那几度电。
第二,人力是第一成本项,且随占空比线性恶化。 同一套系统,夜跑 8 小时和 7×24 跑,单位成本差 5 倍。这直接决定了流水线的形态:应当把机器当成“夜间批处理资源”,而不是“在线服务”。
第三,云端按页计费的交叉点很容易算。 设年固定成本 C、云端单价 p、年处理页数 N,则自建更省的条件是 N > C/p。按上表 20% 占空比的年成本(折旧 4,000 + 人力 125,000 ≈ ¥12.9 万/年)估算:
- 云端 ¥0.01/页量级 → 交叉点约 1,290 万页/年,即每天 3.5 万页;
- 云端 ¥0.05/页量级 → 交叉点约 258 万页/年,即每天 7,000 页。
(此处单价只取量级,具体以各家当期价目为准;文档解析类产品通常高于通用文字识别。)
对照第一节的吞吐:43.9 页/秒,一个 8 小时夜窗就是 126 万页。也就是说,一台二手 32 核服务器只要夜里跑满,一天就能越过上面最保守的交叉点。这就是“旧服务器新活法”的算术基础——它不是靠单页更便宜取胜,而是靠固定成本已被沉没、边际成本接近零取胜。
但必须把话说完整:上表只算了“机器成本”。真实成本里还有一块没进表——精度长尾带来的人工复核。手写页 25.2%、退化扫描 29.5%、olmOCR-bench 老扫描 split 只有 20.0 分,这些页一旦进入复核队列,人工成本会瞬间盖过前面所有项。所以下一节的重点不是“能不能跑”,而是“哪些页不该进来”。
四、流水线改造:把任务粒度从“文件”降到“页”
现有实现已经做了一个正确的决定:CLI 和 convert_many 都是每核一个单线程 worker 进程、每页一个任务,所以单个超长 PDF 也能吃满全部核心,结果按输入顺序返回。这条设计把“大文件拖垮队列”的经典问题消掉了。
但如果要把这套东西接进企业既有的批处理流水线,还有五处需要动刀。
4.1 用页级接口换断点续跑能力
文件级 API 的短板是重试代价:一个 800 页的 PDF 在第 700 页失败,只能整本重来。README 里其实留了一个口子——conv.ocr() 接受内存中的灰度 uint8 numpy 数组。用渲染器把 PDF 拆成页,就能把任务粒度真正降到页:
import pypdfium2 as pdfium
import numpy as np
import indra_ocr
# 每个 worker 进程内只初始化一次,threads=1 避免与进程级并行超订
conv = indra_ocr.load(threads=1, mode="auto", dpi=200)
def iter_pages(path):
pdf = pdfium.PdfDocument(path)
for i in range(len(pdf)):
bitmap = pdf[i].render(scale=200 / 72)
rgb = bitmap.to_numpy()[..., :3] # 通道顺序无关,取均值即可
yield i, rgb.mean(axis=2).astype(np.uint8)
def handle(path, page_no, gray):
page = conv.ocr(gray)
return {
"src": path,
"page": page_no,
"source": page.source, # text / ocr / hybrid / error
"total_ms": page.timings["total_ms"],
"rotation": page.rotation,
"skew": page.skew,
"note": page.note, # 该页为什么走这条路
"markdown": page.markdown,
"blocks": page.blocks,
}
这样每一页都是一个可独立重试、可独立限流、可独立落盘的任务;page.note 还能事后回答“这页为什么被判成 hybrid”,比翻日志可靠。
4.2 把 auto 当成前置闸门,而不是默认值
--mode auto|ocr|text 三档不是“精度档位”,而是成本闸门。数字原生 PDF 走 text 路径时几乎不产生模型计算,source 字段会如实标记 text / ocr / hybrid。落库时按 source 做分组统计,这个分布就是容量规划的第一指标:
- 若
text占比 70%,实际 GPU/CPU 压力只有账面页数的三成; - 若
hybrid异常升高,说明文本层校验频繁失败,通常是扫描件混进了“数字 PDF”队列,应该在入队前就分流。
--mode ocr 会强制忽略文本层,只应在压测或质量对比时使用;把它设成生产默认值,等于主动放弃 1.6 倍的性能。
4.3 worker 数量对齐 cgroup 限额,而不是 nproc
--cores 的语义是“起几个 worker 进程”,默认取全部可用核心。在容器里,nproc 常常返回宿主机核数而非 quota,结果是 32 个 worker 抢 8 核配额,尾延迟急剧恶化。生产上应显式传 --cores,取值等于 CPU quota 的整数核数。同时注意 convert_many 与 CLI 内部都是进程池,不要在外层再套一层多进程,否则会出现进程数平方级膨胀。
另外两个容易被忽略的点:
convert_many在 macOS/Windows 上必须放在if __name__ == "__main__":之下,否则子进程会重新导入主模块;- 每个 worker 都要做一次预热页,冷启动成本真实存在。这也是官方基准“不计模型加载与预热”的原因——短任务(几十页)的实际吞吐一定低于表中的稳态值。
4.4 数学分支必须按需开启,且不要全局开启
--math 会额外下载 18.95 MiB 的四个模型,代价是实测吞吐下降:4 核约 30%,32 核约 38%,单页中位数从 212 ms 涨到 357 ms。在成本表里,这相当于把每百万页的机器时间直接抬高三到四成。
正确做法是按文档类型分队列:论文、教材走 math 队列;财报、合同、票据走默认队列。10 个块标签里已经有 Table、Footnote、Form 这些可用于前置判定的信号,完全可以在入队阶段就决定要不要加载数学模型。
4.5 失败语义与可观测性
CLI 的约定很清楚:遇到读不了的文件继续处理后面的,最后只要有任何失败就以退出码 1 收尾;Python 侧则用 indra_ocr.InputError 表示不可读或被锁定的文件。这比“抛异常中断整批”更适合批处理,但也要求调度器不要把退出码 1 当成“整批失败”而重跑全部——应当按文件粒度记录失败清单。
可观测性方面,page.timings 是分阶段的毫秒数,page.rotation / page.skew 记录了转正角度,page.vertical 标记竖排页(中日文竖排是按转 90 度读的,坐标仍映射回原页)。这几项合起来足以定位“某一批页为什么慢”:是旋转角度大导致重复检测,还是竖排触发了额外路径,一眼可辨。
上线前建议用本地 viewer 抽检:indra-ocr-viewer --port 8765,文件不出本机,能同时看到行框、块标签、阅读顺序、渲染后的 Markdown 和各阶段耗时。远程机器用 ssh -N -L 8765:localhost:8765 转发即可。
五、哪些活不该接,以及混合架构怎么摆
把边界写清楚,比吹吞吐更有价值。README 的 Limitations 一节列得很实在,其中四条直接影响批处理流水线的设计:
- 复杂表格:合并单元格、跨行文本、无框线表格会出现行列错位;简单网格表正常。
- 手写体:OmniParseBench 手写测试 25.2%,草书和浅铅笔最差。
- 退化扫描:29.5%,olmOCR-bench 的 old_scans split 只有 20.0。
- 超宽横幅页、>100 百万像素的页面:200dpi 下会被降采样渲染,小字直接丢失。
所以合理的形态不是“全部替换”,而是两段式分级:
- 第一段用 Indra OCR 吃干净印刷体,目标覆盖 70–80% 的页,成本按上表算是每百万页几百元;
- 第二段把
source=error、Table块密集、note显示文本层校验失败、以及历史标注为手写的页,路由到精度更高的重模型或商业 API。
这个结构的价值在于:它把按页计费的压力集中到了真正需要的那 20–30% 上,而不是让 100% 的页都付高价。算下来总成本是两段的加权和,而不是取最大值。
许可也必须在这个阶段算清楚,因为它直接影响能不能商用。LICENSE 是修改版 OpenRAIL-M,条款里有三条硬约束:
- 上一年度总营收超过 2000 万美元,或累计股权/债权融资超过 2000 万美元,除个人使用与研究外不得使用;
- 不得用于与 Licensor 及其关联方产品构成竞争的产品或服务;
- 第 7 条要求署名与保留许可副本,第 8 条(Share-a-Like)要求对模型副本、衍生模型以及 Output 及其衍生物继续适用本许可。
最后一条与第 6 条“Licensor 对 Output 不主张权利”之间存在张力,社区里“输出可自由商用”的说法只覆盖了第 6 条。代码侧是 Apache 2.0,模型侧是这套修改版 OpenRAIL-M,两者边界不同。涉及对外交付识别结果的团队,应当在架构评审阶段就把这一点交给法务确认,而不是等上线后再补。
六、结语:被改写的不是模型,是流水线的默认假设
回头看这三个数字:1M 参数、72 MiB 默认模型、单核 1.37 页/秒。它们共同推翻的是过去五年 OCR 流水线里几个默认假设:
- 假设“OCR 必须在线、必须常驻、必须有 GPU”——可以改成夜间批处理、CPU 常驻、按需扩核;
- 假设“精度靠更大的模型”——这里靠的是文本层优先、
gate=0.95的稀疏语言模型触发、以及按文字体系路由的四个小识别器; - 假设“吞吐靠更强的单卡”——这里靠的是每核一进程、每页一任务的粒度设计,扩展效率 88.5%。
真正需要改的地方,往往不在模型侧,而在调度侧:把任务粒度从文件降到页、把 auto 当成成本闸门而不是默认值、把 --cores 对齐 cgroup、把数学分支拆成独立队列、把 source 分布当成一级监控指标。这五件事做完,一台闲置的 32 核服务器一个夜窗就能处理上百万页干净印刷体,单位成本里的电费那一栏,小到可以忽略。
而如果只记住了 49 页/秒这个数字,却仍然用文件级重试、全量开 --math、容器里按 nproc 起 worker,那么实际跑出来的吞吐很可能是 25 页/秒——差的不是模型,是流水线。

