技术SEO排查清单:marketing-skills的9个技能修复爬虫、索引与Sitemap问题

原创2026-10-16 21:23:281,905 阅读

技术SEO排查清单:marketing-skills的9个技能修复爬虫、索引与Sitemap问题

marketing-skills 是一个开源的 AI Agent 技能库,收录了 160+ 营销与 SEO 工作流。这篇文章从它的技术 SEO 模块中挑选 9 个技能,帮你按「能否被爬取 → 能否被收录 → 能否被发现」的顺序,快速修复爬虫被屏蔽、页面不收录、Sitemap 提交失败等最常见的技术问题。不需要背 SEO 公式,照着清单逐项核对即可。

9 个技术 SEO 技能一览

# 技能名 仓库位置 解决什么问题
1 robots-txt skills/seo/technical/robots/ 爬虫访问规则配置与误屏蔽审计
2 site-crawlability skills/seo/technical/crawlability/ 重定向链、孤儿页面、分页与爬取预算
3 rendering-strategies skills/seo/technical/rendering-strategies/ SSG/SSR/CSR 选型,AI 爬虫看不到内容
4 mobile-friendly skills/seo/technical/mobile-friendly/ 移动优先索引与移动端可用性
5 indexing skills/seo/technical/indexing/ noindex、GSC 收录问题诊断与修复
6 indexnow skills/seo/technical/indexnow/ 通知 Bing/Yandex 加速收录
7 xml-sitemap skills/seo/technical/sitemap/ Sitemap 创建、审计与提交验证
8 canonical-tag skills/seo/technical/canonical/ 重复内容合并与首选 URL 声明
9 core-web-vitals skills/seo/technical/core-web-vitals/ LCP / INP / CLS 三大性能指标

安装方式(按需安装,不要一次装整个库):

# 只安装这 9 个技术 SEO 技能
npx skills add kostja94/marketing-skills \
  --skill robots-txt site-crawlability indexing xml-sitemap

如果还需要模板和完整文档集,可以直接 clone 仓库:

git clone https://gitcode.com/gh_mirrors/mar/marketing-skills

第一步:检查"能不能被爬取" 🔎

1. robots.txt:先排除"误伤"爬虫

这是新手最容易踩的坑。robots 技能 里有三个关键认知:

  • robots.txt 只控制"爬",不控制"收录"——被 Disallow 的 URL 仍可能出现在搜索结果里(只是没有摘要);
  • 千万别屏蔽 CSS、JS、图片,否则 Google 无法渲染页面;
  • 千万别在 robots.txt 里屏蔽带 noindex 的页面——爬虫必须读到页面才能看到 noindex 指令。

再核对两条形式规则(来自 SKILL.md 路径格式表):

指令 正确格式 错误示范
Disallow: 根相对路径 Disallow: /admin/ Disallow: https://example.com/admin/
Sitemap: 绝对 URL Sitemap: https://example.com/sitemap.xml Sitemap: /sitemap.xml

如果在意 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot 等),该技能还附了一张"允许搜索类、屏蔽训练类"的逐 User-agent 对照表。

2. 渲染策略:AI 爬虫不执行 JavaScript

rendering-strategies 技能 的黄金法则:页面核心数据必须在首次加载的 HTML 里,不依赖 JS 执行。

渲染方式 适合场景 SEO 表现
SSG 静态生成 博客、文档、营销页 ✅ 最佳
SSR 服务端渲染 新闻、商品页 ✅ 良好
ISR 增量再生成 大型站点定期更新 ✅ 良好
CSR 客户端渲染 后台、账户页 ❌ 不适合公开内容

两个典型症状对照排查:Googlebot 能渲染 JS(但有延迟),而 GPTBot、ClaudeBot 等 AI 爬虫完全不执行 JS——如果你的站是纯 CSR,AI 搜索基本"看不见"你。另外,选项卡、轮播图里的内容必须在初始 HTML 中就存在,Google 不会模拟点击"加载更多"。

3. 站点结构:重定向链与孤儿页面

site-crawlability 技能 的排查清单:

  • 重要页面距离首页 3~4 次点击内可达;
  • 孤儿页面(没有任何内链指向)要补上内链;
  • 多跳重定向(A→B→C)直接指向最终 URL;
  • 关键内容优先用传统分页而非无限滚动,无限滚动加载的内容爬虫无法发现;
  • 大站(1 万页以上)可能把 30% 爬取预算浪费在重复 URL、重定向和低价值页上。

4. 移动端可用性:移动优先索引

Google 主要抓取和收录移动端版本,所以 mobile-friendly 技能 的检查项直接决定收录质量:

检查项 达标线
viewport meta width=device-width, initial-scale=1
正文字号 ≥ 16px,无需放大
点击目标 按钮/链接 ≥ 48×48px
内容一致性 移动端必须包含与桌面端相同的核心内容

用 Google 的 Mobile-Friendly Test 或 GSC 的"移动设备可用性"报告验证即可。

第二步:检查"能不能被收录" 📥

5. 索引诊断:先看 GSC 的问题类型再动手

indexing 技能 把 GSC 覆盖报告里的常见状态做成了"症状 → 处方"表:

GSC 显示 修复动作
Crawled - currently not indexed 重要页面:核对 canonical、内链、Sitemap,用 URL 检查请求索引
Excluded by «noindex» tag 确认是否误加,误加则移除
Blocked by robots.txt 移除重要路径的 Disallow
Soft-404(返回 200 但内容说"未找到") 真正缺失的页面返回 404;有价值的页面补真实内容
静态资源(CSS/JS)"未被索引" 正常现象,可忽略,别去屏蔽 /_next/

noindex 的用法也有现成的页面分类表:登录/注册、感谢页、管理后台、404 等场景该用 noindex,follow 还是 noindex,nofollow,表格里一栏对应(见 页面类型表)。

6. IndexNow:Bing 收录加速器

indexnow 技能 的要点很简短:

  • 主要服务 Bing 和 Yandex;Google 不使用 IndexNow,继续走 Sitemap + Search Console;
  • 生成一个 API key,在站点根目录放一个 {key}.txt 验证文件;
  • URL 列表必须和 Sitemap 共用同一份配置,避免两套清单各维护各的。

第三步:检查"能不能被发现" 🗺️

7. Sitemap:三个最常见的坑

xml-sitemap 技能 覆盖了从创建到验证的完整流程,新手重点看这三处:

  1. lastmod 必须真实——要写页面真实修改时间,而不是生成 Sitemap 的时间戳。用 new Date() 会导致所有 URL 共享同一时间戳,搜索引擎可能直接忽略;Bing 曾报告约 18% 的 Sitemap lastmod 不准确。
  2. 单文件上限:50,000 个 URL、50MB,超了要拆成 Sitemap 索引 + 多个子 Sitemap(可按语言拆 /sitemap/zh.xml、/sitemap/en.xml)。
  3. 最隐蔽的坑:/sitemap.xml 返回 HTML——状态码是 200,但内容被 catch-all 路由或 i18n 重定向劫持成了首页 HTML,Google 会静默拒收,连告警都没有。该技能给出了 curl -I 检查 Content-Type 的诊断方法(见 HTML 诊断一节)。

最后一步别忘了:在 robots.txt 里声明 Sitemap: https://example.com/sitemap.xml(只声明主索引),再到 GSC 的"索引 → Sitemaps"提交,24~48 小时后核对"已发现页面数"与预期是否一致。

8. canonical:合并重复内容

canonical-tag 技能 提供"手段 → 强度"的选择表:

场景 首选手段
HTTP→HTTPS、www 与 non-www、尾部斜杠 301 重定向(最强)
查询参数、分页、UTM 跟踪参数 canonical 标签
屏蔽非首选路径 robots.txt(最弱,仅作建议)

两条硬规则:canonical 必须写绝对 URL(带 https://);不允许 A→B→C 链式 canonical。同时 Sitemap 里的 URL 应与 canonical 声明保持一致。

9. Core Web Vitals:三个达标线

core-web-vitals 技能 把 Google 的三个体验指标压缩成一张阈值表(移动端 75 分位):

指标 含义 达标线
LCP 最大内容绘制(加载速度) ≤ 2.5s
INP 交互到下一次绘制(响应性) ≤ 200ms
CLS 累积布局偏移(视觉稳定性) < 0.1

CWV 是官方确认的排名因素,最常见的快速修复:首屏图片用 WebP/AVIF 压缩、图片写死 width/height 防布局抖动、首屏内容用 SSR/SSG 输出。

一张 15 分钟排查顺序表 ✅

按「先地基、后页面」的顺序执行(优先级取自仓库自带的 任务跟踪模板):

顺序 检查项 对应技能 优先级
1 robots.txt 是否误屏蔽 robots-txt P0
2 核心内容是否在初始 HTML rendering-strategies P0
3 重定向链、孤儿页面 site-crawlability P0
4 Sitemap 存在且提交成功 xml-sitemap P0
5 GSC 收录状态与 noindex indexing P1
6 canonical 与重复 URL canonical-tag P1
7 移动端可用性 mobile-friendly P1
8 Core Web Vitals 三指标 core-web-vitals P1
9 IndexNow(Bing 加速) indexnow P2

如何让 AI Agent 替你执行这份清单

这些技能本质上是给 AI Agent 的"标准作业程序":装上技能后,把任务交给 Cursor、Claude Code 等工具,它们会按技能里定义的步骤、检查项和输出格式来执行。两个让结果更靠谱的习惯:

  • 先喂项目上下文:把站点 URL、框架、页面清单写进任务描述(仓库推荐用根目录的 contextus.md 承载项目事实,兼容旧版 templates/project-context.md);
  • 按需装 2~3 个技能:任务明确时装对应技能,而不是一次性把 160+ 全部加载,聚焦的技能执行质量更高。

更多安装平台与用法示例见 docs/usage.md,完整的技能清单与依赖关系见 docs/skills-reference.md。

登录后查看全文
marketing-skills