简易 Node.js 网络爬虫使用与安装指南

本文档旨在帮助用户详细理解并使用 simplecrawler 项目，一个为 Node.js 设计的基本、灵活且健壮的网站爬虫工具。

1. 安装指南

首先，确保您的开发环境中已经安装了 Node.js。接下来，通过以下命令安装 simplecrawler：

npm install --save simplecrawler

2. 项目使用说明

simplecrawler 提供了一个非常简单的基于事件的 API，使用 EventEmitter，可以轻松地编写自己的爬虫逻辑。

初始化爬虫

以下是初始化 simplecrawler 的基本步骤：

var Crawler = require("simplecrawler");
var crawler = new Crawler("http://www.example.com/");

您可以省略 new 操作符，这在链式调用 API 时特别方便。

var crawler = Crawler("http://www.example.com/")
    .on("fetchcomplete", function () {
        console.log("已获取资源！");
    });

配置爬虫

在开始爬取前，您可以配置爬虫的各种属性，如请求间隔、并发数和最大爬取深度等。

crawler.interval = 10000; // 十秒
crawler.maxConcurrency = 3;
crawler.maxDepth = 2; // 默认只爬取第一页及其链接

事件监听

simplecrawler 发射多种事件，您可以根据需要监听这些事件。例如，监听 fetchcomplete 事件以获取资源。

crawler.on("fetchcomplete", function(queueItem, responseBuffer, response) {
    console.log("刚刚接收到 %s (%d 字节)", queueItem.url, responseBuffer.length);
    console.log("资源类型为 %s", response.headers['content-type']);
});

启动爬虫

当您满意配置并准备开始时，调用 start 方法启动爬虫。

crawler.start();

3. 项目API使用文档

simplecrawler 的 API 基于事件驱动，以下是一些主要事件的概述：

• crawlstart: 爬取开始时触发。
• discoverycomplete: 发现链接完成时触发。
• invaliddomain: 当资源因无效域名未被加入队列时触发。
• fetchdisallowed: 当资源因 robots.txt 规则被禁止时触发。
• fetchconditionerror: 当获取条件返回错误时触发。
• fetchprevented: 当获取条件阻止资源入队时触发。
• queueduplicate: 当尝试添加重复的队列项时触发。
• queueerror: 当更新队列项遇到错误时触发。
• queueadd: 当新项加入队列时触发。
• fetchtimeout: 当请求超时时触发。
• fetchclienterror: 当请求遇到未知错误时触发。
• fetchstart: 当请求刚刚发起时触发。

4. 项目安装方式

项目的安装方式如安装指南部分所述，通过 npm 命令安装即可。

npm install --save simplecrawler

确保遵循以上指南和文档，以充分利用 simplecrawler 项目进行网站爬取。