MetaInspector 技术文档
2024-12-23 20:31:20作者：伍希望
1. 安装指南
MetaInspector 是一个用于网页抓取的 Ruby gem。您可以通过以下方式从 RubyGems 安装它：
gem install metainspector
如果您在 Rails 应用程序中使用它，只需将其添加到 Gemfile 中并运行 bundle install：
gem 'metainspector'
支持的 Ruby 版本在 .circleci/config.yml 中定义。
2. 项目使用说明
要使用 MetaInspector，您需要为 URL 初始化一个 MetaInspector 实例：
page = MetaInspector.new('http://sitevalidator.com')
如果 URL 中不包括协议，默认会使用 http://：
page = MetaInspector.new('sitevalidator.com')
您还可以包含 HTML，该 HTML 将用作抓取的文档：
page = MetaInspector.new("http://sitevalidator.com",
:document => "<html>...</html>")
3. 项目API使用文档
以下是一些基本 API 的使用方法：
访问响应
您可以通过以下方式检查响应的状态和头信息：
page.response.status # 返回状态码，例如 200
page.response.headers # 返回响应头，例如 { "server"=>"nginx", "content-type"=>"text/html; charset=utf-8", ... }
访问抓取的数据
URL 相关
page.url # 返回页面的 URL
page.tracked? # 如果 URL 包含已知的跟踪参数，则返回 true
page.untracked_url # 返回移除了已知跟踪参数的 URL
page.untrack! # 从 URL 中移除已知的跟踪参数
page.scheme # 返回页面的协议（http 或 https）
page.host # 返回页面的主机名（例如 sitevalidator.com，不包括协议）
page.root_url # 返回根 URL（协议 + 主机，例如 http://sitevalidator.com/）
头链接
page.head_links # 返回所有头链接的数组
page.stylesheets # 返回所有 rel='stylesheet' 的头链接
page.canonicals # 返回所有 rel='canonical' 的头链接
page.feeds # 返回 rss 或 atom 链接的数组
文本内容
page.title # 返回页面的标题
page.best_title # 返回页面的最佳标题
page.author # 返回页面的作者
page.best_author # 返回页面的最佳作者
page.description # 返回页面的 meta 描述
page.best_description # 返回页面的最佳描述
page.h1 # 返回 h1 标题的数组
page.h2 # 返回 h2 标题的数组
# ... 以此类推，直到 h6
链接
page.links.raw # 返回未处理的每个链接
page.links.all # 返回页面上的每个链接
page.links.http # 返回每个 HTTP 链接
page.links.non_http # 返回每个非 HTTP 链接
page.links.internal # 返回每个内部链接
page.links.external # 返回每个外部链接
图片
page.images # 返回页面上每个图片的 URL
page.images.with_size # 返回按面积排序的图片 URL、宽度和高度数组
page.images.best # 返回最相关的图片
page.images.favicon # 返回 favicon 的 URL
Meta 标签
page.meta_tags # 返回所有 meta 标签
page.meta_tag['name'] # 返回 'name' 类型的第一个 meta 标签
page.meta # 返回一个简化的 meta 标签哈希
# ... 以此类推
杂项
page.charset # 返回页面的字符集
page.content_type # 返回服务器返回的内容类型
4. 项目安装方式
请参考上述安装指南部分，您可以通过 RubyGems 安装 MetaInspector gem，或者将其添加到 Rails 项目的 Gemfile 中并运行 bundle install。
登录后查看全文
热门项目推荐
相关项目推荐
Kimi-K2.5Kimi K2.5 是一款开源的原生多模态智能体模型，它在 Kimi-K2-Base 的基础上，通过对约 15 万亿混合视觉和文本 tokens 进行持续预训练构建而成。该模型将视觉与语言理解、高级智能体能力、即时模式与思考模式，以及对话式与智能体范式无缝融合。Python00- QQwen3-Coder-Next2026年2月4日，正式发布的Qwen3-Coder-Next，一款专为编码智能体和本地开发场景设计的开源语言模型。Python00
xw-cli实现国产算力大模型零门槛部署，一键跑通 Qwen、GLM-4.7、Minimax-2.1、DeepSeek-OCR 等模型Go06
PaddleOCR-VL-1.5PaddleOCR-VL-1.5 是 PaddleOCR-VL 的新一代进阶模型，在 OmniDocBench v1.5 上实现了 94.5% 的全新 state-of-the-art 准确率。 为了严格评估模型在真实物理畸变下的鲁棒性——包括扫描伪影、倾斜、扭曲、屏幕拍摄和光照变化——我们提出了 Real5-OmniDocBench 基准测试集。实验结果表明，该增强模型在新构建的基准测试集上达到了 SOTA 性能。此外，我们通过整合印章识别和文本检测识别（text spotting）任务扩展了模型的能力，同时保持 0.9B 的超紧凑 VLM 规模，具备高效率特性。Python00
KuiklyUI基于KMP技术的高性能、全平台开发框架，具备统一代码库、极致易用性和动态灵活性。 Provide a high-performance, full-platform development framework with unified codebase, ultimate ease of use, and dynamic flexibility. 注意：本仓库为Github仓库镜像，PR或Issue请移步至Github发起，感谢支持！Kotlin08
VLOOKVLOOK™ 是优雅好用的 Typora/Markdown 主题包和增强插件。 VLOOK™ is an elegant and practical THEME PACKAGE × ENHANCEMENT PLUGIN for Typora/Markdown.Less00
项目优选
收起
kerneldeepin linux kernel
C
27
11
docsOpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
538
3.76 K
flutter_flutter暂无简介
Dart
775
192
pytorchAscend Extension for PyTorch
Python
343
410
RuoYi-Vue3🎉 (RuoYi)官方仓库 基于SpringBoot，Spring Security，JWT，Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.34 K
757
cherry-studio🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
1.07 K
97
ohos_react_nativeReact Native鸿蒙化仓库
JavaScript
303
356
kernelopenEuler内核是openEuler操作系统的核心，既是系统性能与稳定性的基石，也是连接处理器、设备与服务的桥梁。
C
337
181
AscendNPU-IRAscendNPU-IR
C++
86
142
agent-studioopenJiuwen agent-studio提供零码、低码可视化开发和工作流编排，模型、知识库、插件等各资源管理能力
TSX
987
251