Read the Docs 项目中的 CDN 规则导致 Oh Dear 链接检查器被误拦截问题分析

在 Read the Docs 文档托管平台的运维过程中，近期出现了一个值得注意的技术问题：知名的链接检查工具 Oh Dear 突然无法正常工作，所有对 Read the Docs 托管文档的链接检查请求都返回了 403 禁止访问状态码。

问题背景

Oh Dear 是一款专业的网站监控和链接检查工具，被许多技术博客和文档维护者用来确保网站链接的有效性。该工具会定期扫描网站中的所有外部链接，检测是否存在失效或错误的链接。对于像 Read the Docs 这样托管大量技术文档的平台来说，这类工具对维护文档质量至关重要。

问题现象

从 2024 年 9 月 27 日开始，用户发现 Oh Dear 对 Read the Docs 托管文档的链接检查突然全部失败，返回 403 状态码。经统计，共有 147 个链接检查请求被拒绝。值得注意的是，这些链接在直接通过浏览器或 curl 命令访问时都能正常返回 200 或 302 状态码。

技术分析

Read the Docs 技术团队通过 CDN 控制台深入调查后发现：

1. 问题发生在 9 月 24 日左右，与平台进行 ASG (Auto Scaling Group) 切换的时间点相近
2. CDN 的托管规则将 Oh Dear 识别为 AI 爬虫工具并进行了拦截
3. 虽然 Oh Dear 在 CDN 的分类中本应属于"监控工具"类别，但仍被误判为 AI 爬虫

解决方案

技术团队采取了以下措施解决问题：

1. 检查并更新了 CDN 的托管规则配置
2. 为 Oh Dear 工具添加了显式的例外规则
3. 验证了新的配置确实解决了 403 访问问题

经验总结

这一事件揭示了几个重要的运维经验：

1. 安全规则更新可能产生意想不到的副作用，需要完善的监控机制
2. 第三方工具的 User-Agent 识别需要定期审查和更新
3. 生产环境变更后，应该关注各类监控工具的告警信息
4. CDN 服务的安全规则需要根据实际业务需求进行定制化调整

对于使用类似监控工具的用户，建议在遇到类似问题时：

1. 及时收集具体的错误信息和示例 URL
2. 与平台技术支持团队分享详细的请求信息
3. 了解监控工具的请求频率和模式，必要时进行调整

这一问题的快速解决体现了 Read the Docs 团队对用户体验的重视和高效的问题响应能力，也为其他使用 CDN 安全服务的项目提供了有价值的参考案例。