Colly 使用教程

1. 项目介绍

Colly 是一款用 Go 语言编写的优雅的爬虫和抓取框架。它具有简洁的 API 和出色的性能，支持自动处理 Cookie 和 Session，同时提供了灵活的扩展机制。Colly 的设计使得它可以用于快速开发复杂的网络数据抓取任务。

2. 项目快速启动

初始化项目

在你的工作目录下创建一个新的目录 colly 并进入，然后使用 Go Modules 初始化项目：

mkdir colly && cd colly
go mod init github.com/yourusername/colly

安装 Colly 库

go get -u github.com/gocolly/colly/v2

编写基本爬虫代码

在 main.go 文件中添加以下代码，实现简单的百度搜索页面爬取：

package main

import (
	"fmt"
	"github.com/gocolly/colly/v2"
)

func main() {
	c := colly.NewCollector(
		colly.AllowedDomains("www.baidu.com"),
	)

	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		link := e.Attr("href")
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		c.Visit(e.Request.AbsoluteURL(link))
	})

	c.OnRequest(func(r *colly.Request) {
		fmt.Println("Visiting", r.URL.String())
	})

	c.OnResponse(func(r *colly.Response) {
		fmt.Printf("Response %s: %d bytes\n", r.Request.URL, len(r.Body))
	})

	c.OnError(func(r *colly.Response, err error) {
		fmt.Printf("Error %s: %v\n", r.Request.URL, err)
	})

	c.Visit("http://www.baidu.com/")
}

这段代码定义了一个新的 Colly Collector，设置允许爬取的域名为 www.baidu.com，然后监听 a 标签中的 href 属性，并打印出文本和链接。此外，还监控了请求和响应事件。

运行 go run main.go 来启动爬虫。

3. 应用案例和最佳实践

爬取 GitHub Trending 项目

// 更改代码以适应 GitHub Trending API

抓取百度小说热榜

// 将示例替换为适用于百度小说热榜的代码

下载 Unsplash 图片

// 示例代码下载 Unsplash 主页的所有图片

异步处理和限速

// 添加异步功能和速率控制的代码

4. 典型生态项目

一些使用 Colly 的公开开源项目：

1. greenpeace/check-my-pages: 用于测试西班牙绿色和平组织网站存档的抓取脚本。
2. altsab/gowap: Wappalyzer 实现，识别网站技术的 Go 版本。
3. jesuiscamille/goquotes: 收集引语以照亮您的一天的小工具。
4. jivesearch/jivesearch: 不跟踪用户的搜索引擎。
5. Leagify/colly-draft-prospects: 获取未来 NFL 选秀潜力球员的抓取器。

结语

Colly 提供了丰富的功能，使开发高质量的爬虫变得简单快捷。了解这些基础后，你可以根据实际需求进行更深入的研究，如数据库集成、反反爬虫策略等。记得遵守网站的 robots.txt 规则，尊重互联网的规则。