Rawler 技术文档

Rawler 是一个 Ruby 库，用于爬取网站并检查每个链接的状态码。它可以帮助你发现网站中的死链。Rawler 只会解析内容类型为 'text/html' 的页面，但会检查每个链接的响应码。

1. 安装指南

1.1 安装 Ruby

在安装 Rawler 之前，确保你的系统已经安装了 Ruby。你可以通过以下命令检查 Ruby 是否已安装：

ruby -v

如果未安装 Ruby，请根据你的操作系统安装 Ruby。

1.2 安装 Rawler

安装 Rawler 非常简单，只需使用以下命令：

gem install rawler

这将自动下载并安装 Rawler 及其依赖项。

2. 项目的使用说明

2.1 基本使用

Rawler 的基本使用方式是通过命令行运行。以下是一个简单的示例：

rawler http://example.com

这将开始爬取 http://example.com 并检查所有链接的状态码。

2.2 命令行选项

Rawler 提供了多种命令行选项，以便更灵活地控制爬取过程。以下是一些常用的选项：

• --username, -u <s>: 指定 HTTP Basic 认证的用户名。
• --password, -p <s>: 指定 HTTP Basic 认证的密码。
• --wait, -w <f>: 设置请求之间的等待时间（以秒为单位），可以是小数，例如 '1.5'（默认值：3.0）。
• --log, -l: 将结果记录到文件 rawler_log.txt 中。
• --logfile, -o <s>: 指定日志文件，隐含 --log 选项（默认值：rawler_log.txt）。
• --css, -c: 检查 CSS 链接。
• --skip, -s <s>: 跳过匹配正则表达式的 URL。
• --iskip, -i <s>: 跳过匹配正则表达式的 URL（不区分大小写）。
• --include <s>: 仅包含匹配正则表达式的 URL。
• --iinclude <s>: 仅包含匹配正则表达式的 URL（不区分大小写）。
• --local <s>: 限制爬取范围为给定的 URL 及其子路径。相当于 --include ^http://mysite.com/*。
• --ignore_fragments: 去除解析链接中的片段部分。
• --version, -v: 打印版本信息并退出。
• --help, -h: 显示帮助信息。

3. 项目 API 使用文档

Rawler 主要是一个命令行工具，因此没有提供直接的 API 接口。如果你需要在 Ruby 代码中使用 Rawler 的功能，可以通过调用系统命令来实现。例如：

system("rawler http://example.com --log")

这将执行 Rawler 命令并将结果记录到日志文件中。

4. 项目安装方式

4.1 通过 RubyGems 安装

如前所述，你可以通过 RubyGems 安装 Rawler：

gem install rawler

4.2 从源码安装

如果你想从源码安装 Rawler，可以按照以下步骤进行：

1. 克隆 Rawler 的 GitHub 仓库：

git clone https://github.com/oscardelben/rawler.git

2. 进入项目目录：

cd rawler

3. 构建并安装 gem：

gem build rawler.gemspec
gem install rawler-<version>.gem

其中 <version> 是 Rawler 的版本号。

4.3 依赖管理

Rawler 依赖于一些 Ruby 库，这些库会在安装过程中自动安装。如果你遇到依赖问题，可以尝试手动安装这些依赖项：

gem install nokogiri
gem install typhoeus

结语

Rawler 是一个简单而强大的工具，用于检查网站中的死链。通过本文档，你应该能够顺利安装并使用 Rawler，并根据需要调整其配置。如果你有任何问题或建议，欢迎查阅项目的 GitHub 页面或联系贡献者。