PyPDF2实战：处理PDF页面文本提取中的重复内容问题

问题背景

在使用PyPDF2进行PDF文本提取时，开发者经常会遇到一个常见问题：当循环遍历PDF页面提取文本时，发现每次提取的内容不仅包含当前页面的文本，还包含了之前所有页面的文本，导致最终结果出现大量重复内容。这种情况尤其容易出现在SEC（美国证券交易委员会）等机构发布的标准化PDF文档中。

技术分析

这种问题的根源在于PDF文件的特殊结构。许多PDF文档（特别是表单类文档）采用了"层叠"式的文本存储方式：

1. 页面内容可能存储在多个不同的层中
2. 部分文本可能位于页面可视区域之外
3. 某些内容可能被重复引用以提高渲染效率

在SEC的Form ADV文档中，这种设计尤为明显。文档制作者可能为了保持表单结构的一致性，将部分内容放置在非可视区域，而PyPDF2默认会提取所有这些文本内容。

解决方案

要解决这个问题，我们需要使用PyPDF2的"访问者模式"(visitor pattern)来精确控制文本提取的范围。核心思路是：

1. 定义一个文本访问者函数，在提取每个文本片段时进行位置检查
2. 只提取位于页面可视区域内的文本
3. 通过页面媒体框(mediabox)确定可视边界

以下是实现这一方案的完整代码示例：

def get_competitor_mentions_information():
    # 定义访问者函数，只提取可视区域内的文本
    def visitor(content, cm, tm, font_dict, font_size):
        y = cm[5]  # 获取当前文本的垂直位置
        if 0 < y < 1008:  # 设置合理的Y轴范围
            raw_text.append(content)
    
    crd_lst = ['109330', '294670']
    base_url = 'https://reports.adviserinfo.sec.gov/reports/ADV/'
    
    for crd_num in crd_lst:
        url = f'{base_url}{crd_num}/PDF/{crd_num}.pdf'
        r = requests.get(url, stream=True)
        pdf = PdfReader(io.BytesIO(r.content))
        
        # 定义正则表达式模式
        get_vendor_name = r"Name of entity where books and records are kept:(.*?)Number and Street 1:"
        get_vendor_description = r"Briefly describe the books and records kept at this location\.(.*?)(?:Name of entity where books and records are kept:|SECTION 1\.)"
        
        entries = []
        vendors, vendor_descriptions = [], []
        text = ''
        
        for page in pdf.pages:
            raw_text = []
            media_box = page.mediabox
            
            # 使用访问者模式提取文本
            page.extract_text(visitor_text=visitor)
            new_text = ' '.join(raw_text)
            text += new_text
        
        # 应用正则表达式提取目标内容
        vendors += re.findall(get_vendor_name, text, re.DOTALL)
        vendor_descriptions += re.findall(get_vendor_description, text, re.DOTALL)
        
        # 去重处理
        vendors, vendor_descriptions = list(set(vendors)), list(set(vendor_descriptions))
        
        # 根据关键词筛选结果
        keywords = ['ethics', 'compliance']
        for i in range(len(vendors)):
            if any(x in vendor_descriptions[i].lower() for x in keywords):
                entries.append({
                    'vendor_name': vendors[i],
                    'vendor_description': vendor_descriptions[i]
                })

关键技术点

1. 访问者模式：通过自定义visitor函数，我们可以精确控制哪些文本被提取。函数参数中的cm矩阵包含了文本的位置信息。

2. 坐标系统理解：PDF使用一个基于点的坐标系统(1点=1/72英寸)，需要了解页面的媒体框(mediabox)来确定可视区域。

3. 文本位置判断：通过检查文本的Y坐标(cm[5])是否在合理范围内(0到1008点)，可以过滤掉非可视区域的文本。

4. 正则表达式优化：针对SEC文档结构设计特定的正则模式，确保准确提取目标字段。

实际应用建议

1. 调整Y轴范围：不同PDF文档可能有不同的页面尺寸，需要根据实际情况调整Y轴的范围阈值。

2. 性能考虑：对于大型PDF文档，访问者模式可能会增加处理时间，建议在必要时使用。

3. 错误处理：添加适当的异常处理，特别是处理网络请求和PDF解析可能出现的错误。

4. 结果验证：对于关键业务应用，建议人工抽样验证提取结果的准确性。

总结

通过使用PyPDF2的访问者模式，我们成功解决了PDF文本提取中的重复内容问题。这种方法不仅适用于SEC的Form ADV文档，也可以推广到其他具有类似结构的PDF文件处理场景。关键在于理解PDF的内部结构和PyPDF2提供的文本提取机制，从而实现对提取过程的精确控制。