Hoarder项目中的Worker超时处理问题分析与解决方案

问题背景

在Hoarder项目（一个网页内容存档工具）的使用过程中，用户发现系统存储空间异常增长。经排查发现，当进行全页面存档时，如果Worker进程发生超时，系统未能正确清理相关资源，导致产生大量重复存档文件。典型表现为单个书签产生数十个重复存档，占用存储空间高达40GB。

技术原理分析

该问题涉及两个关键技术环节：

1. Worker超时机制：

   • 系统默认的CRAWLER_JOB_TIMEOUT_SEC设置可能不足
   • 超时后系统会重新调度任务，但未清理已产生的部分文件
   • 对于复杂页面（如含大量资源的交互设计类网站），默认60秒可能不够

2. 资源管理机制：

   • 超时重试会导致多次创建相同资源的存档
   • 每次重试都会生成新的metadata记录
   • 相关标签(Tag)系统也会产生冗余数据

问题复现条件

1. 书签指向资源密集型网页（如interaction-design.org的文献页面）
2. 系统超时设置不足（默认60秒）
3. 启用全页面存档功能

解决方案

临时解决方案

1. 增加CRAWLER_JOB_TIMEOUT_SEC至300秒（5分钟）
2. 手动清理异常书签后重新添加
3. 使用"Manage assets"功能识别大体积文件

长期改进建议

1. 超时处理优化：

   • 实现任务状态持久化
   • 超时后不应简单重试，应先检查已有进度
   • 对已知慢速网站采用不同超时策略

2. 资源清理机制：

   • 实现超时后的自动清理
   • 增加重试次数限制
   • 开发"tidy asset"定期清理任务

3. 存储监控：

   • 实现存储使用量告警
   • 增加重复文件检测机制

最佳实践建议

1. 对于视频类/资源密集型网站，建议单独设置更长超时
2. 定期检查/assets目录存储情况
3. 考虑使用外置存储监控工具
4. 对新添加书签进行性能评估

技术影响评估

该问题不仅影响存储空间，还会导致：

1. 数据库膨胀（metadata记录重复）
2. 标签系统产生孤儿标签
3. 后续处理任务（如索引）效率下降

项目团队已在nightly版本中增加了相关管理功能，建议用户关注后续稳定版更新。