WebCollector 使用指南

1. 项目目录结构及介绍

WebCollector 是一个基于Java的开源网页爬虫框架，其目录结构精心设计以便于开发者迅速上手和扩展。以下是该项目的主要目录结构和各部分简介：

- src/
    - 核心源码所在目录，包含了爬虫的核心逻辑。
- webcollector-2.x.x-bin.zip
    - 包含了可用于直接运行的二进制文件，包括.jar文件和其他必要的库。
- LICENSE.txt
    - 许可证文件，说明软件使用的协议，通常是GPL-3.0。
- README.md
    - 主要的项目说明文档，介绍了项目的基本信息、安装步骤和快速入门指南。
- pom.xml
    - Maven项目的配置文件，用于管理项目的依赖关系和构建流程。
- demo/
    - 示例代码目录，展示了如何使用WebCollector的各种功能。
        - 示例文件如DemoAutoNewsCrawler.java, DemoAnnotatedDepthCrawler.java等，涵盖基础到高级用法。
- doc/
    - 文档目录，可能包含API文档、用户手册等。

2. 项目的启动文件介绍

在WebCollector中，没有一个特定命名的“启动文件”，但通常，开发者会创建一个新的Java应用程序或使用示例中的类作为起点来启动爬虫任务。对于初次使用，可以参考示例代码目录下的.java文件，比如DemoAutoNewsCrawler.java，这些示例演示了如何初始化爬虫，设置URL，以及处理抓取的数据。

# 假设你已经添加了Maven依赖或者解压了bin包
# 使用Maven启动一个示例
mvn compile exec:java -Dexec.mainClass="com.example.DemoAutoNewsCrawler"

这里需要根据实际的类路径调整DemoAutoNewsCrawler。

3. 项目的配置文件介绍

WebCollector采取了类似于Hadoop的Configuration机制，允许为每个爬虫实例定制配置信息。配置主要通过代码方式进行，而不是传统意义上的外部XML或.properties文件。这意味着你需要在程序内部设定各项参数，如HTTP请求配置、存储选项、并发数等。

例如，设置简单的HTTP请求超时可以通过以下方式在你的爬虫代码中实现：

import cn.edu.hfut.dmic.webcollector.model.CrawlConfig;

CrawlConfig config = new CrawlConfig();
config.setFetchInterval(5000); // 设置抓取间隔时间为5秒
config.setMaxPagesToFetch(1000); // 设置最大抓取页面数量
// 更多配置项可以根据需求添加

对于更复杂的场景，如使用特定的插件、配置数据库连接等，开发者会在各自的项目中定义相应的配置逻辑，而非依赖预置的配置文件。

---

通过上述三个模块的学习，你应该能够初步理解和操作WebCollector项目，从搭建环境到自定义爬虫任务。记得查看GitHub上的文档和示例代码以获得更详细的信息和实践指导。