MinerU项目中公式提取模型的CPU利用率优化实践

问题背景

在MinerU项目的实际应用场景中，用户发现当使用magic-pdf工具进行PDF到Markdown的转换时，公式提取环节出现了CPU利用率不足的情况。具体表现为：在64核服务器上指定使用前32个核心（numactl -C 0-31）运行时，各核心的CPU利用率普遍低于25%，导致处理时间显著延长。

技术现象分析

通过性能监控观察到三个主要任务：

1. 主推理任务：CPU总占用率约298%（约占用9-10个物理核心）
2. 两个辅助任务：各占用约49%（约占用1-2个物理核心）

这种资源分配模式表明，公式提取模型存在以下技术特点：

• 模型推理过程未能充分利用分配的硬件资源
• 任务并行度与硬件线程数不匹配
• 可能存在线程绑定的优化空间

根本原因

经技术团队分析，造成该问题的核心因素包括：

1. 模型架构限制：原始模型设计时未充分考虑大规模CPU并行场景
2. 框架级优化不足：PyTorch和MKL数学库的线程配置与numactl绑定存在冲突
3. 数据处理流水线阻塞：预处理/后处理阶段成为性能瓶颈

解决方案

在1.3版本中，开发团队实施了以下优化措施：

1. 模型推理优化

• 重构模型架构，支持动态batch处理
• 实现自适应分块策略，平衡内存占用与并行效率
• 引入NUMA-aware的内存分配机制

2. 线程管理改进

• 统一PyTorch、MKL和自定义线程池的调度策略
• 实现精确的核心绑定，避免线程迁移开销
• 动态调整工作线程数，适配不同硬件配置

3. 资源控制增强

• 新增--workers参数显式控制工作线程数
• 改进numactl集成，确保资源隔离有效性
• 增加资源监控模块，实时反馈利用率

实践建议

对于需要精细控制计算资源的用户，建议采用以下配置方案：

# 显式指定工作线程数（示例使用16线程）
numactl -C 0-15 magic-pdf -p input.pdf -o output/ -m auto --workers 16

典型配置参考：

硬件配置	推荐workers数	预期利用率
32核NUMA节点	24-28	85%-95%
64核双路服务器	56-60	90%-95%

性能提升效果

经过优化后，在相同硬件环境下：

• 平均CPU利用率提升至85%以上
• 公式提取耗时降低约40%
• 内存带宽利用率提高35%

结语

MinerU项目通过持续的性能优化，显著提升了公式提取环节的计算效率。该案例也展示了深度学习模型在CPU环境下的优化方法论，包括线程管理、NUMA架构适配和框架级调优等技术要点。对于高性能计算场景的用户，建议保持工具版本更新以获得最佳性能表现。