技术SEO排查清单:marketing-skills的9个技能修复爬虫、索引与Sitemap问题
技术SEO排查清单:marketing-skills的9个技能修复爬虫、索引与Sitemap问题
marketing-skills 是一个开源的 AI Agent 技能库,收录了 160+ 营销与 SEO 工作流。这篇文章从它的技术 SEO 模块中挑选 9 个技能,帮你按「能否被爬取 → 能否被收录 → 能否被发现」的顺序,快速修复爬虫被屏蔽、页面不收录、Sitemap 提交失败等最常见的技术问题。不需要背 SEO 公式,照着清单逐项核对即可。
9 个技术 SEO 技能一览
| # | 技能名 | 仓库位置 | 解决什么问题 |
|---|---|---|---|
| 1 | robots-txt | skills/seo/technical/robots/ | 爬虫访问规则配置与误屏蔽审计 |
| 2 | site-crawlability | skills/seo/technical/crawlability/ | 重定向链、孤儿页面、分页与爬取预算 |
| 3 | rendering-strategies | skills/seo/technical/rendering-strategies/ | SSG/SSR/CSR 选型,AI 爬虫看不到内容 |
| 4 | mobile-friendly | skills/seo/technical/mobile-friendly/ | 移动优先索引与移动端可用性 |
| 5 | indexing | skills/seo/technical/indexing/ | noindex、GSC 收录问题诊断与修复 |
| 6 | indexnow | skills/seo/technical/indexnow/ | 通知 Bing/Yandex 加速收录 |
| 7 | xml-sitemap | skills/seo/technical/sitemap/ | Sitemap 创建、审计与提交验证 |
| 8 | canonical-tag | skills/seo/technical/canonical/ | 重复内容合并与首选 URL 声明 |
| 9 | core-web-vitals | skills/seo/technical/core-web-vitals/ | LCP / INP / CLS 三大性能指标 |
安装方式(按需安装,不要一次装整个库):
# 只安装这 9 个技术 SEO 技能
npx skills add kostja94/marketing-skills \
--skill robots-txt site-crawlability indexing xml-sitemap
如果还需要模板和完整文档集,可以直接 clone 仓库:
git clone https://gitcode.com/gh_mirrors/mar/marketing-skills
第一步:检查"能不能被爬取" 🔎
1. robots.txt:先排除"误伤"爬虫
这是新手最容易踩的坑。robots 技能 里有三个关键认知:
- robots.txt 只控制"爬",不控制"收录"——被 Disallow 的 URL 仍可能出现在搜索结果里(只是没有摘要);
- 千万别屏蔽 CSS、JS、图片,否则 Google 无法渲染页面;
- 千万别在 robots.txt 里屏蔽带 noindex 的页面——爬虫必须读到页面才能看到 noindex 指令。
再核对两条形式规则(来自 SKILL.md 路径格式表):
| 指令 | 正确格式 | 错误示范 |
|---|---|---|
Disallow: |
根相对路径 Disallow: /admin/ |
Disallow: https://example.com/admin/ |
Sitemap: |
绝对 URL Sitemap: https://example.com/sitemap.xml |
Sitemap: /sitemap.xml |
如果在意 AI 爬虫(GPTBot、ClaudeBot、PerplexityBot 等),该技能还附了一张"允许搜索类、屏蔽训练类"的逐 User-agent 对照表。
2. 渲染策略:AI 爬虫不执行 JavaScript
rendering-strategies 技能 的黄金法则:页面核心数据必须在首次加载的 HTML 里,不依赖 JS 执行。
| 渲染方式 | 适合场景 | SEO 表现 |
|---|---|---|
| SSG 静态生成 | 博客、文档、营销页 | ✅ 最佳 |
| SSR 服务端渲染 | 新闻、商品页 | ✅ 良好 |
| ISR 增量再生成 | 大型站点定期更新 | ✅ 良好 |
| CSR 客户端渲染 | 后台、账户页 | ❌ 不适合公开内容 |
两个典型症状对照排查:Googlebot 能渲染 JS(但有延迟),而 GPTBot、ClaudeBot 等 AI 爬虫完全不执行 JS——如果你的站是纯 CSR,AI 搜索基本"看不见"你。另外,选项卡、轮播图里的内容必须在初始 HTML 中就存在,Google 不会模拟点击"加载更多"。
3. 站点结构:重定向链与孤儿页面
site-crawlability 技能 的排查清单:
- 重要页面距离首页 3~4 次点击内可达;
- 孤儿页面(没有任何内链指向)要补上内链;
- 多跳重定向(A→B→C)直接指向最终 URL;
- 关键内容优先用传统分页而非无限滚动,无限滚动加载的内容爬虫无法发现;
- 大站(1 万页以上)可能把 30% 爬取预算浪费在重复 URL、重定向和低价值页上。
4. 移动端可用性:移动优先索引
Google 主要抓取和收录移动端版本,所以 mobile-friendly 技能 的检查项直接决定收录质量:
| 检查项 | 达标线 |
|---|---|
| viewport meta | width=device-width, initial-scale=1 |
| 正文字号 | ≥ 16px,无需放大 |
| 点击目标 | 按钮/链接 ≥ 48×48px |
| 内容一致性 | 移动端必须包含与桌面端相同的核心内容 |
用 Google 的 Mobile-Friendly Test 或 GSC 的"移动设备可用性"报告验证即可。
第二步:检查"能不能被收录" 📥
5. 索引诊断:先看 GSC 的问题类型再动手
indexing 技能 把 GSC 覆盖报告里的常见状态做成了"症状 → 处方"表:
| GSC 显示 | 修复动作 |
|---|---|
| Crawled - currently not indexed | 重要页面:核对 canonical、内链、Sitemap,用 URL 检查请求索引 |
| Excluded by «noindex» tag | 确认是否误加,误加则移除 |
| Blocked by robots.txt | 移除重要路径的 Disallow |
| Soft-404(返回 200 但内容说"未找到") | 真正缺失的页面返回 404;有价值的页面补真实内容 |
| 静态资源(CSS/JS)"未被索引" | 正常现象,可忽略,别去屏蔽 /_next/ |
noindex 的用法也有现成的页面分类表:登录/注册、感谢页、管理后台、404 等场景该用 noindex,follow 还是 noindex,nofollow,表格里一栏对应(见 页面类型表)。
6. IndexNow:Bing 收录加速器
indexnow 技能 的要点很简短:
- 主要服务 Bing 和 Yandex;Google 不使用 IndexNow,继续走 Sitemap + Search Console;
- 生成一个 API key,在站点根目录放一个
{key}.txt验证文件; - URL 列表必须和 Sitemap 共用同一份配置,避免两套清单各维护各的。
第三步:检查"能不能被发现" 🗺️
7. Sitemap:三个最常见的坑
xml-sitemap 技能 覆盖了从创建到验证的完整流程,新手重点看这三处:
lastmod必须真实——要写页面真实修改时间,而不是生成 Sitemap 的时间戳。用new Date()会导致所有 URL 共享同一时间戳,搜索引擎可能直接忽略;Bing 曾报告约 18% 的 Sitemap lastmod 不准确。- 单文件上限:50,000 个 URL、50MB,超了要拆成 Sitemap 索引 + 多个子 Sitemap(可按语言拆
/sitemap/zh.xml、/sitemap/en.xml)。 - 最隐蔽的坑:/sitemap.xml 返回 HTML——状态码是 200,但内容被 catch-all 路由或 i18n 重定向劫持成了首页 HTML,Google 会静默拒收,连告警都没有。该技能给出了
curl -I检查 Content-Type 的诊断方法(见 HTML 诊断一节)。
最后一步别忘了:在 robots.txt 里声明 Sitemap: https://example.com/sitemap.xml(只声明主索引),再到 GSC 的"索引 → Sitemaps"提交,24~48 小时后核对"已发现页面数"与预期是否一致。
8. canonical:合并重复内容
canonical-tag 技能 提供"手段 → 强度"的选择表:
| 场景 | 首选手段 |
|---|---|
| HTTP→HTTPS、www 与 non-www、尾部斜杠 | 301 重定向(最强) |
| 查询参数、分页、UTM 跟踪参数 | canonical 标签 |
| 屏蔽非首选路径 | robots.txt(最弱,仅作建议) |
两条硬规则:canonical 必须写绝对 URL(带 https://);不允许 A→B→C 链式 canonical。同时 Sitemap 里的 URL 应与 canonical 声明保持一致。
9. Core Web Vitals:三个达标线
core-web-vitals 技能 把 Google 的三个体验指标压缩成一张阈值表(移动端 75 分位):
| 指标 | 含义 | 达标线 |
|---|---|---|
| LCP | 最大内容绘制(加载速度) | ≤ 2.5s |
| INP | 交互到下一次绘制(响应性) | ≤ 200ms |
| CLS | 累积布局偏移(视觉稳定性) | < 0.1 |
CWV 是官方确认的排名因素,最常见的快速修复:首屏图片用 WebP/AVIF 压缩、图片写死 width/height 防布局抖动、首屏内容用 SSR/SSG 输出。
一张 15 分钟排查顺序表 ✅
按「先地基、后页面」的顺序执行(优先级取自仓库自带的 任务跟踪模板):
| 顺序 | 检查项 | 对应技能 | 优先级 |
|---|---|---|---|
| 1 | robots.txt 是否误屏蔽 | robots-txt | P0 |
| 2 | 核心内容是否在初始 HTML | rendering-strategies | P0 |
| 3 | 重定向链、孤儿页面 | site-crawlability | P0 |
| 4 | Sitemap 存在且提交成功 | xml-sitemap | P0 |
| 5 | GSC 收录状态与 noindex | indexing | P1 |
| 6 | canonical 与重复 URL | canonical-tag | P1 |
| 7 | 移动端可用性 | mobile-friendly | P1 |
| 8 | Core Web Vitals 三指标 | core-web-vitals | P1 |
| 9 | IndexNow(Bing 加速) | indexnow | P2 |
如何让 AI Agent 替你执行这份清单
这些技能本质上是给 AI Agent 的"标准作业程序":装上技能后,把任务交给 Cursor、Claude Code 等工具,它们会按技能里定义的步骤、检查项和输出格式来执行。两个让结果更靠谱的习惯:
- 先喂项目上下文:把站点 URL、框架、页面清单写进任务描述(仓库推荐用根目录的
contextus.md承载项目事实,兼容旧版 templates/project-context.md); - 按需装 2~3 个技能:任务明确时装对应技能,而不是一次性把 160+ 全部加载,聚焦的技能执行质量更高。
更多安装平台与用法示例见 docs/usage.md,完整的技能清单与依赖关系见 docs/skills-reference.md。