Hoarder项目中的任务队列卡死问题分析与解决

问题现象

在Hoarder项目部署过程中，用户遇到了任务队列完全停滞的问题。具体表现为：

• 添加的链接在12小时后仍未完成处理
• 作业页面显示所有任务都处于排队状态
• 首页卡片内容为空
• 搜索功能返回"未找到书签"的提示

日志分析

从容器日志中可以看到关键错误信息：

[TRPCError]: UNAUTHORIZED
code: 'UNAUTHORIZED'

这表明存在认证授权问题，但进一步分析发现这只是表象。

深入日志后发现了更根本的问题：

info: [crawler] Loading adblocker ...
(node:121) [DEP0040] DeprecationWarning

系统在加载广告拦截器(adblocker)时卡住，导致整个工作进程无法继续执行后续任务。

根本原因

经过排查，确定问题根源在于：

1. 工作进程启动时会自动下载广告拦截器规则
2. 在某些网络环境下(如访问GitHub受限的地区)，这一下载过程会无限期挂起
3. 由于没有设置合理的超时机制，导致整个进程阻塞在此阶段
4. 进而使得所有任务都无法被处理

解决方案

提供了两种解决方式：

1. 完全禁用广告拦截器（推荐方案） 在环境变量中添加：

   CRAWLER_ENABLE_ADBLOCKER=false
   

   这将跳过广告拦截器加载步骤，直接进入任务处理流程。

2. 网络环境优化 对于需要广告拦截功能的用户，可以：

   • 确保容器能够正常访问GitHub
   • 配置网络代理
   • 使用镜像源替代默认下载地址

实施效果

用户采用第一种方案后，系统立即恢复正常：

• 任务开始正常流转处理
• 搜索结果能够正确返回
• 首页卡片显示完整内容

技术建议

对于类似分布式任务处理系统，建议：

1. 关键初始化步骤应设置超时机制
2. 提供模块化的功能开关，便于问题排查
3. 对网络依赖操作实现重试和回退策略
4. 完善日志记录，明确标识各阶段状态

此问题的解决不仅恢复了系统功能，也为后续优化提供了方向，特别是在异常处理机制和系统健壮性方面。