Harbor项目中漏洞扫描任务卡死问题分析与解决方案

问题背景

在Harbor 2.11版本中，用户报告了一个关于扫描功能的系统问题。当使用Trivy扫描器对容器镜像进行扫描时，部分扫描任务会陷入"队列中(Queued)"状态而无法完成。更严重的是，这些卡住的任务无法通过界面正常停止，导致后续扫描操作也无法执行。

问题现象

用户遇到的主要症状包括：

1. 镜像扫描状态长时间显示为"队列中"，但实际上扫描并未真正执行
2. 尝试停止扫描任务时，系统提示"no scan job for artifact"错误
3. 检查作业服务(Job Service)后台，确认没有实际的扫描任务在队列中等待
4. 删除并重新上传相同镜像后，问题仍然存在

根本原因分析

通过对问题日志和数据库状态的深入分析，我们发现问题的根源在于：

1. 任务状态不一致：扫描任务的执行状态(execution)与任务(task)记录在数据库中出现了不一致。任务被标记为"Running"，但实际上并未真正运行。

2. 数据关联约束冲突：系统尝试清理旧的扫描任务时，由于数据关联约束(execution表的task_execution_id_fkey)导致清理失败，错误日志显示："ERROR: update or delete on table "execution" violates data constraint "task_execution_id_fkey" on table "task" (SQLSTATE 23503)"。

3. 系统中断影响：用户报告在问题发生期间，Trivy和Job Service组件曾因资源问题重启，这可能导致部分扫描任务状态未能正确更新。

解决方案

临时解决方案

对于已经卡住的任务，可以通过以下步骤手动修复：

1. 直接修改数据库，将卡住的任务状态从"Running"更新为"Error"：

UPDATE task SET status = 'Error' 
WHERE execution_id IN (
  SELECT id FROM execution 
  WHERE vendor_type = 'IMAGE_SCAN' 
  AND status IN ('Running', 'Pending')
);

2. 执行数据库清理，删除旧的扫描任务记录：

DELETE FROM execution 
WHERE vendor_type = 'IMAGE_SCAN' 
AND status IN ('Error') 
AND id NOT IN (SELECT execution_id FROM task WHERE status = 'Running');

长期解决方案

1. 升级Harbor版本：该问题在较新版本的Harbor中已得到修复，建议升级到最新稳定版。

2. 优化资源分配：确保Job Service和Trivy扫描器有足够的资源(特别是临时存储空间)，避免因资源不足导致任务中断。

3. 实现任务超时机制：为扫描任务设置合理的超时时间，避免任务长时间挂起。

4. 改进状态同步机制：增强系统对任务状态的同步检查，确保界面显示与实际执行状态一致。

最佳实践建议

1. 控制并发扫描数量：避免一次性提交过多扫描任务，建议根据系统资源情况设置合理的并发限制。

2. 定期监控扫描队列：建立监控机制，及时发现和处理卡住的任务。

3. 实施定期维护：定期清理旧的扫描任务记录，保持数据库健康状态。

4. 优先使用最新稳定版：Harbor社区持续改进扫描功能的可靠性，使用最新版本可获得最佳稳定性。

通过以上分析和解决方案，用户可以有效应对Harbor中扫描任务卡住的问题，确保容器镜像扫描功能的正常运行。对于生产环境，建议在实施任何数据库修改前先进行备份，并在测试环境中验证解决方案的有效性。