Lightnovel-crawler项目中的RoyalRoad水印处理技术解析

背景介绍

Lightnovel-crawler是一个用于抓取和整理网络小说的开源工具。在最近的项目开发中，开发者们发现RoyalRoad平台的小说在抓取过程中存在水印问题，这些水印通常包含版权声明和反盗版提示。

水印问题分析

RoyalRoad平台在其小说内容中嵌入了多种形式的水印文本，主要目的是防止内容被非法转载到其他平台如Amazon。这些水印具有以下特点：

1. 文本变体多样：开发者收集了约1000页样本，发现了近30种不同的水印文本变体
2. 语义相似：虽然措辞不同，但都传达了"内容来自RoyalRoad"、"请举报盗版"等核心信息
3. 嵌入方式：通常以<div>标签形式嵌入在HTML内容中

解决方案实现

项目采用Python技术栈处理EPUB格式的小说文件，主要依赖以下库：

• ebooklib：用于EPUB文件的读写操作
• BeautifulSoup：用于HTML内容的解析和处理
• lxml：作为BeautifulSoup的解析引擎

核心处理逻辑

1. 水印识别：通过预定义的关键短语集合来识别水印内容，这些短语覆盖了常见的水印变体
2. DOM遍历：使用BeautifulSoup遍历HTML文档结构，特别关注最低层级的<div>元素
3. 文本匹配：对每个<div>元素的文本内容进行匹配，判断是否包含水印特征
4. 元素移除：匹配成功的元素会被从DOM树中移除

技术亮点

watermark_contains_phrase_set = {
    "is not rightfully on Amazon",
    "Royal Road",
    "report the violation.",
    # 其他关键词...
}

def is_lowest_level(tag):
    """检查标签是否为没有子元素的<div>"""
    return tag.name == "div" and not any(child.name for child in tag.children)

该解决方案通过组合DOM结构分析和文本语义匹配，能够有效识别并移除多种变体的水印内容。

应用效果

经过处理后，EPUB文件中的水印内容被成功移除，同时保证了小说正文内容的完整性。处理后的文件会以"_filtered.epub"后缀保存，方便用户区分。

技术启示

1. 在处理结构化文档时，结合DOM分析和文本语义分析能提高处理准确性
2. 预定义关键词集合的方式适合处理已知模式的文本变体
3. 对于电子书处理，保持文件结构完整性至关重要

这种水印处理技术不仅适用于RoyalRoad平台，其思路也可应用于其他类似的内容清理场景。