Node-Crawler 技术文档

本文档旨在帮助用户使用和详细了解 Node-Crawler 项目，内容涵盖安装指南、使用说明、API 使用文档和安装方式。

安装指南

Node-Crawler 项目要求 Node.js 版本 18 或以上。特别注意的是，对于 Linux 操作系统，建议使用 Node.js 版本 18，因为测试中发现在更高版本的 Node.js 上存在稳定性问题。

安装 Node-Crawler 的命令如下：

$ npm install crawler

项目的使用说明

Node-Crawler 项目提供了多种功能，包括服务器端 DOM 解析、自动 jQuery 插入、配置连接池大小和重试次数、控制速率限制、优先级队列请求以及字符集检测和转换。

基本用法

以下是一个基本的示例，展示了如何使用 Node-Crawler 异步爬取网页内容：

import Crawler from "crawler";

const c = new Crawler({
    maxConnections: 10,
    callback: (error, res, done) => {
        if (error) {
            console.log(error);
        } else {
            const $ = res.$;
            console.log($("title").text());
        }
        done();
    },
});

c.add("http://www.amazon.com");

速率限制

使用 rateLimit 选项来控制爬取速度：

const c = new Crawler({
    rateLimit: 1000,
    callback: (err, res, done) => {
        console.log(res.$("title").text());
        done();
    },
});

c.add(tasks);

自定义参数

通过 userParams 选项传递自定义参数，在回调函数中访问：

c.add({
    url: "http://www.google.com",
    userParams: {
        parameter1: "value1",
        parameter2: "value2",
        parameter3: "value3",
    },
});

console.log(res.options.userParams);

原始数据

爬取文件时，设置 encoding 为 null 以获取原始数据：

import Crawler from "crawler";
import fs from "fs";

const c = new Crawler({
    encoding: null,
    jQuery: false,
    callback: (err, res, done) => {
        if (err) {
            console.error(err.stack);
        } else {
            fs.createWriteStream(res.options.userParams.filename).write(res.body);
        }
        done();
    },
});

c.add({
    url: "https://raw.githubusercontent.com/bda-research/node-crawler/master/crawler_primary.png",
    userParams: {
        filename: "crawler.png",
    },
});

请求预处理

使用 preRequest 选项在请求发送前执行同步或异步操作：

const c = new Crawler({
    preRequest: (options, done) => {
        console.log(options);
        done();
    },
    callback: (err, res, done) => {
        if (err) {
            console.log(err);
        } else {
            console.log(res.statusCode);
        }
    },
});

c.add({
    url: "http://www.google.com",
    preRequest: (options, done) => {
        setTimeout(() => {
            console.log(options);
            done();
        }, 1000);
    },
});

项目 API 使用文档

Crawler 类

• Event: 'schedule': 当任务被添加到队列时触发。
• Event: 'limiterChange': 当限速器状态改变时触发。
• Event: 'request': 当请求发送时触发。
• Event: 'drain': 当队列中的所有任务都完成后触发。
• crawler.add(url|options): 添加一个或多个任务到队列。
• crawler.queueSize: 获取队列中的任务数量。

选项

全局选项

• silence: 是否禁用日志输出。
• maxConnections: 最大并发连接数。
• priorityLevels: 优先级级别数。
• rateLimit: 速率限制时间（毫秒）。
• skipDuplicates: 是否跳过重复的 URL。
• homogeneous: 是否启用同构模式。
• userAgents: 用户代理列表。

Crawler 通用选项

• url | method | headers | body | searchParams...: 请求的 URL、方法、头部、主体和查询参数。
• forceUTF8: 是否强制使用 UTF-8 编码。
• jQuery: 是否启用 jQuery。
• encoding: 响应编码（默认为 'utf8'）。
• rateLimiterId: 限速器 ID。
• retries: 重试次数。
• retryInterval: 重试间隔时间（毫秒）。
• timeout: 请求超时时间（毫秒）。
• priority: 请求优先级。
• skipEventRequest: 是否跳过请求事件。
• html: 要爬取的 HTML 内容。
• proxies: 代理列表。
• proxy: 代理服务器。
• http2: 是否启用 HTTP/2。
• referer: 引荐来源。
• userParams: 自定义参数。
• preRequest: 请求预处理函数。
• callback: 请求回调函数。

项目安装方式

Node-Crawler 项目可以通过 npm 包管理器进行安装：

$ npm install crawler