Sinew 技术文档

1. 安装指南

1.1 通过Gem安装

你可以通过以下命令安装Sinew：

gem install sinew

1.2 通过Gemfile安装

如果你使用的是Bundler管理依赖，可以将以下内容添加到你的Gemfile中：

gem 'sinew'

然后运行 bundle install 来安装依赖。

2. 项目的使用说明

2.1 快速示例

以下是一个简单的示例，展示了如何使用Sinew从网站收集链接。将以下代码保存为 sample.sinew 文件，并运行 sinew sample.sinew。运行后，将生成一个 sample.csv 文件，其中包含每个链接的URL和标题。

# 获取URL
response = sinew.get "https://httpbingo.org"

# 使用Nokogiri收集链接
response.noko.css("ul li a").each do |a|
  row = { }
  row[:url] = a[:href]
  row[:title] = a.text

  # 将一行数据追加到CSV文件中
  sinew.csv_emit(row)
end

2.2 工作原理

Sinew主要通过以下三个功能来实现网页抓取：

2.2.1 食谱文件

Sinew使用食谱文件（.sinew扩展名）来抓取网站。食谱文件是普通的Ruby代码。以下是一个简单的示例，展示了如何使用 get 方法发起HTTP GET请求：

response = sinew.get "https://www.google.com/search?q=darwin"
response = sinew.get "https://www.google.com/search", q: "charles darwin"

2.2.2 CSV输出

食谱文件会输出CSV文件。继续上面的示例：

response = sinew.get "https://www.google.com/search?q=darwin"
response.noko.css("a").each do |i|
  row = { }
  row[:href] = i[:href]
  row[:text] = i.text
  sinew.csv_emit row
end

2.2.3 缓存

Sinew使用 httpdisk 来缓存所有HTTP响应到磁盘（~/.sinew 目录）。每个URL只会被请求一次，并且请求速率限制为每秒一次。

3. 项目API使用文档

3.1 发起HTTP请求

• sinew.get(url, params = nil, headers = nil) - 使用GET方法获取URL
• sinew.post(url, body = nil, headers = nil) - 使用POST方法获取URL，使用 form 作为URL编码的POST体
• sinew.post_json(url, body = nil, headers = nil) - 使用POST方法获取URL，使用 json 作为POST体

3.2 解析响应

每个请求方法返回一个 Sinew::Response 对象。响应对象提供了以下方法来简化解析：

• body - 原始响应体
• html - 类似于 body，但进行了HTML特定的空白清理
• noko - 将响应解析为HTML并返回一个Nokogiri文档
• xml - 将响应解析为XML并返回一个Nokogiri文档
• json - 将响应解析为JSON，并使用符号化键
• mash - 将响应解析为JSON并返回一个Hashie::Mash对象
• url - 请求的URL。如果请求经过重定向，url 将反映最终的URL

3.3 写入CSV

• sinew.csv_header(columns) - 指定CSV输出的列。如果不调用此方法，Sinew将使用第一次调用 sinew.csv_emit 时的键
• sinew.csv_emit(hash) - 将一行数据追加到CSV文件中

3.4 高级：缓存

Sinew提供了一些高级方法来检查 httpdisk 缓存：

• sinew.cached?(method, url, params = nil, body = nil) - 检查请求是否已缓存
• sinew.uncache(method, url, params = nil, body = nil) - 删除缓存文件（如果有）
• sinew.status(method, url, params = nil, body = nil) - 获取 httpdisk 状态

4. 项目安装方式

4.1 通过Gem安装

你可以通过以下命令安装Sinew：

gem install sinew

4.2 通过Gemfile安装

如果你使用的是Bundler管理依赖，可以将以下内容添加到你的Gemfile中：

gem 'sinew'

然后运行 bundle install 来安装依赖。

---

通过本文档，你应该能够顺利安装并使用Sinew进行网页抓取。如果你有任何问题，请参考项目的README文件或相关文档。