page-fetch 项目使用教程

1、项目的目录结构及介绍

page-fetch 项目的目录结构如下：

page-fetch/
├── .gitignore
├── LICENSE
├── README.md
├── go.mod
├── go.sum
├── main.go

• .gitignore: 用于指定 Git 版本控制系统忽略的文件和目录。
• LICENSE: 项目的许可证文件，page-fetch 使用 MIT 许可证。
• README.md: 项目说明文档，包含项目的基本介绍、安装和使用方法。
• go.mod: Go 模块文件，定义了项目的依赖关系。
• go.sum: Go 模块的校验和文件，确保依赖的完整性和安全性。
• main.go: 项目的入口文件，包含主要的程序逻辑。

2、项目的启动文件介绍

项目的启动文件是 main.go，它是整个项目的入口点。main.go 文件中包含了主要的程序逻辑，负责初始化和启动 headless Chrome 浏览器，并执行用户指定的操作，如抓取网页、运行 JavaScript 等。

以下是 main.go 文件的基本结构：

package main

import (
    "fmt"
    // 其他导入的包
)

func main() {
    // 主程序逻辑
}

3、项目的配置文件介绍

page-fetch 项目没有显式的配置文件，但可以通过命令行参数进行配置。以下是一些常用的命令行参数：

• -c --concurrency <int>: 设置并发级别，默认值为 2。
• -d --delay <int>: 设置请求之间的延迟（以毫秒为单位），默认值为 0。
• -e --exclude <string>: 不保存匹配指定字符串的响应（可以多次指定）。
• -i --include <string>: 只保存匹配指定字符串的请求（可以多次指定）。
• -j --javascript <string>: 在每个页面上运行的 JavaScript 代码。
• -o --output <string>: 输出目录名称，默认值为 'out'。
• -p --proxy <string>: 使用指定 URL 的代理。
• -w --overwrite: 覆盖输出目录中的现有文件。

例如，要抓取网页并运行 JavaScript 代码，可以使用以下命令：

echo https://example.com | page-fetch --javascript 'document.domain'

以上命令会抓取 https://example.com 网页，并在该页面上运行 document.domain JavaScript 代码，输出结果。

通过这些命令行参数，用户可以根据需要灵活配置 page-fetch 的行为。