Hoarder项目队列停滞问题的诊断与解决方案

问题背景

在Hoarder项目（一个网页内容抓取与存档工具）的实际使用中，用户反馈在导入大量书签（约10万条）后，系统队列出现停滞现象。通过Docker容器部署的环境下，工作进程日志在初始化阶段突然中断，导致后续抓取任务无法正常执行。

关键现象分析

1. 日志中断特征：容器日志显示工作进程启动信息后突然终止，未输出预期的完整初始化流程日志。
2. 环境配置：采用Docker Compose部署，包含三个核心服务：
   • Hoarder主服务（v0.21.0）
   • Chrome浏览器实例（用于JS渲染）
   • Meilisearch搜索服务

深度排查过程

第一阶段诊断

通过检查容器日志，发现工作进程卡在连接Chrome实例的阶段。典型健康日志应包含：

• 各类型worker的启动确认（爬虫、推理、搜索索引等）
• 浏览器连接成功状态

关键测试验证

执行分层排除法：

1. 临时禁用浏览器连接配置（BROWSER_WEB_URL）后，工作进程恢复正常（但失去JS执行能力）
2. 更换Chrome容器镜像版本后，完整功能恢复

根本原因定位

1. 浏览器容器健康状态：原Chrome容器实例无响应，导致工作进程在连接阶段阻塞
2. 连接健壮性缺陷：系统缺乏对浏览器服务不可用情况的容错处理机制

解决方案与最佳实践

1. 容器健康检查：为Chrome服务添加Docker健康检查

healthcheck:
  test: ["CMD", "wget", "-q", "-O-", "http://localhost:9222/json/version"]
  interval: 30s
  timeout: 10s
  retries: 3

2. 部署建议：

• 使用稳定版本的浏览器容器镜像
• 监控浏览器服务的响应延迟指标
• 考虑实现工作进程的重试机制

3. 日志增强：建议启用DEBUG级别日志观察连接细节：

LOG_LEVEL=debug

经验总结

分布式爬虫系统中，外部服务依赖（如浏览器实例）的稳定性直接影响整体可靠性。建议在生产环境中：

1. 实施完善的健康检查机制
2. 建立服务降级预案
3. 对关键依赖服务进行心跳监测
4. 记录详细的超时和重试日志

通过本次故障排查，我们验证了分层隔离测试在分布式系统调试中的有效性，也为类似架构的项目提供了可复用的诊断思路。