Robots.txt 排除协议的 Go 语言实现

1. 安装指南

在使用本项目之前，请确保您的环境中已安装了 Go 语言环境。

安装本项目非常简单，只需要执行以下命令：

go get github.com/temoto/robotstxt

执行完毕后，您就可以在您的 Go 项目中导入并使用 github.com/temoto/robotstxt 包了。

2. 项目的使用说明

本项目提供了对 robots.txt 文件的解析和查询功能。

2.1. 解析 robots.txt

您可以使用以下几种方式来解析 robots.txt 数据：

• 使用 FromBytes(body []byte) (*RobotsData, error) 方法从字节数据中解析。
• 使用 FromString(s string) (*RobotsData, error) 方法从字符串中解析。
• 使用 FromResponse(*http.Response) (*RobotsData, error) 方法从 HTTP 响应中解析。
• 使用 FromStatusAndBytes(statusCode int, body []byte) (*RobotsData, error) 方法从状态码和字节数据中解析。
• 使用 FromStatusAndString(statusCode int, s string) (*RobotsData, error) 方法从状态码和字符串中解析。

以下是一个示例：

robots, err := robotstxt.FromBytes([]byte("User-agent: *\nDisallow:"))
if err != nil {
    log.Fatal("Error parsing robots.txt:", err)
}

// 或者

robots, err := robotstxt.FromString("User-agent: *\nDisallow:")
if err != nil {
    log.Fatal("Error parsing robots.txt:", err)
}

2.2. 查询 robots.txt 规则

解析 robots.txt 文件后，您可以查询特定用户代理是否被允许访问特定路径。以下是一个简单的查询示例：

allow := robots.TestAgent("/", "FooBot")

如果您需要查询多个路径，可以使用 FindGroup(userAgent string) 方法来获取一个针对特定用户代理的查询对象，然后使用 .Test(path string) 方法进行查询，这可以提高性能：

group := robots.FindGroup("BarBot")
group.Test("/")
group.Test("/download.mp3")
group.Test("/news/article-2012-1")

3. 项目 API 使用文档

本项目提供了以下 API：

• FromBytes(body []byte) (*RobotsData, error): 从字节数据解析 robots.txt。
• FromString(s string) (*RobotsData, error): 从字符串解析 robots.txt。
• FromResponse(*http.Response) (*RobotsData, error): 从 HTTP 响应解析 robots.txt。
• FromStatusAndBytes(statusCode int, body []byte) (*RobotsData, error): 从状态码和字节数据解析 robots.txt。
• FromStatusAndString(statusCode int, s string) (*RobotsData, error): 从状态码和字符串解析 robots.txt。
• (r *RobotsData) TestAgent(url, agent string) (bool): 测试特定用户代理是否允许访问特定路径。
• (r *RobotsData) FindGroup(userAgent string): 获取针对特定用户代理的查询对象。

4. 项目安装方式

请参考本文档的 "1. 安装指南" 部分。