MinerU项目中数字百分比被误识别为公式的问题分析与解决方案

问题背景

在MinerU项目（一个PDF文档解析工具）的实际应用中，我们发现了一个影响金融和技术文档解析准确性的问题：工具会将文档中出现的数字加百分号组合（如"20%"）错误识别为数学公式。这种误识别会导致文本内容被错误地标记为公式类型，进而影响后续的文档处理流程。

问题表现

该问题在金融类PDF文档中尤为常见，例如在行业分析报告中经常出现的百分比数据。具体表现为：

1. 类似"20%"这样的百分比数值被错误解析为LaTeX公式格式
2. 某些情况下，连字符与百分比的组合（如"-8%"）也会被误识别
3. 字母与百分比组合（如"a-20%"）可能被解析为包含偏微分符号的公式

技术分析

通过分析源代码，我们发现问题的根源在于MinerU的公式识别模块对于百分号的处理过于敏感。在magic-model.py文件的get_all_spans函数中，所有被分类为公式类别（category_id=13）的内容都会被默认标记为内联公式（InlineEquation），而没有针对常见的百分比数值进行特殊处理。

解决方案

针对这一问题，开发者提出了一个有效的修复方案，通过添加特定的正则表达式匹配规则来过滤掉常见的非公式百分比模式：

1. 纯数字百分比模式（如"11.11%"）
2. 包含@符号的数字模式（如"@1"）
3. 美元符号数字模式（如"$11.111"）

实现方式是在公式识别置信度不高（score≤0.9）的情况下，增加额外的模式匹配检查。如果内容符合上述任一模式，则将其重新分类为普通文本而非公式。

实现代码

以下是具体的实现代码片段：

import re

# 在get_all_spans函数中添加以下逻辑
elif category_id == 13:
    span['content'] = layout_det['latex']
    
    if layout_det['score'] > 0.9:
        span['type'] = ContentType.InlineEquation
    else:
        pattern_nums_per = r"^\d+(\.\d+)?\\%$"  # 匹配11.11\%格式
        pattern_at_num = r"^.*@\d+$"  # 匹配\ @1格式
        pattern_usd_num = r"^\\\$\d+(\.\d+)?$"  # 匹配\$11.111格式
        
        if re.match(pattern_nums_per, span['content']) or \
           re.match(pattern_at_num, span['content']) or \
           re.match(pattern_usd_num, span['content']):
            span['type'] = ContentType.Text
        else:
            span['type'] = ContentType.InlineEquation

应用建议

对于主要处理非学术类技术文档（特别是金融文档）的用户，可以考虑以下两种方案：

1. 完全关闭公式识别功能（如果文档中确实不包含数学公式）
2. 应用上述修复代码，在保留公式识别能力的同时减少误判

总结

MinerU项目中的这一识别问题反映了文档解析工具在实际应用中面临的挑战：如何在保持通用性的同时，又能适应特定领域的文档特征。通过针对性地添加业务规则（如这里的百分比识别规则），可以在不大幅修改核心算法的情况下，显著提升特定场景下的解析准确率。这一解决方案也为处理类似问题提供了可借鉴的思路。