DuckDuckGo 分布式爬虫（DDC）原型技术文档

本文档将详细介绍DuckDuckGo分布式爬虫（DDC）原型的安装、使用及API使用说明。

1. 安装指南

系统要求

• Python 3.2
• httplib2 0.7+

安装依赖

对于Ubuntu用户，可以通过以下命令安装所有依赖：

sudo apt-get -V install python3 python3-httplib2

注意：代码仅在Linux系统上进行过测试，但理论上支持所有操作系统。

2. 项目的使用说明

基本工作流程

• 客户端请求一个待检查垃圾邮件的域名列表，服务器响应域名列表。
• 服务器可能会在响应中添加额外数据，指示客户端升级自身或页面分析组件。
• 客户端对域名进行分析，然后将结果返回给服务器。
• 客户端请求另一批域名进行检查，如此循环。

实现细节

• 采用经典的REST API。
• 客户端通过GET请求获取域名列表，通过POST请求提交结果。

URL参数

• version：协议版本，定义XML响应结构。当更改破坏客户端兼容性时，必须增加版本号。服务器必须始终处理所有旧协议版本，至少通知客户端需要升级。
• pc_version：页面处理二进制组件的版本。

XML响应格式

根节点上方包含以下节点之一：

• upgrades：可以包含指示客户端升级组件的节点（包括下载新版本的URL）。
• domainlist：待检查的域名列表（domain节点）。

3. 项目API使用文档

获取域名列表

• 请求方法：GET
• 请求参数：version（必需），pc_version（可选）
• 响应：domainlist节点，包含待检查的域名列表

提交分析结果

• 请求方法：POST
• 请求参数：version（必需），pc_version（可选）
• 请求体：包含分析结果的XML格式数据

4. 项目安装方式

项目包含以下文件：

• ddc_client.py：爬虫工作代码。
• ddc_process.py：模拟页面处理组件的代码，当前仅返回模拟结果。
• ddc_server.py：分配爬虫任务给客户端并获取结果的服务器代码。
• tests/single_client.sh：通过启动服务器并连接客户端进行小规模模拟的Bash脚本。
• tests/client_upgrade.sh：模拟服务器发起的客户端升级的Bash脚本。

用户可以根据项目需求和文档进行安装和配置。