Crawlee-Python项目中PlaywrightCrawler僵尸进程问题解析

在Crawlee-Python项目中使用PlaywrightCrawler时，开发者可能会遇到一个棘手的问题：当以headless模式运行爬虫时，系统会逐渐积累大量僵尸进程(headless_shell)，导致内存使用量持续增长。这个问题在批量处理任务时尤为明显。

问题现象

当开发者使用PlaywrightCrawler进行批量网页抓取时，每次批处理完成后，系统会残留25-50个僵尸进程。这些进程状态显示为"defunct"，通过ps命令可以观察到大量CMD为<headless_shell>的僵尸进程。随着批处理次数的增加，僵尸进程数量会累积增长，最终导致系统可用内存逐渐减少。

根本原因

这个问题源于Linux系统中进程管理的特殊性。在容器化环境中，当父进程退出而其子进程仍在运行时，这些子进程会被重新挂载到PID 1(init进程)下。标准的init系统会负责清理这些孤儿进程，但如果没有正确的init系统，这些进程就会变成僵尸进程长期存在。

Playwright启动的浏览器实例(headless_shell)就是这样的子进程。当爬虫任务完成后，如果父进程没有正确回收这些子进程，它们就会变成僵尸状态。

解决方案

解决这个问题的关键在于确保容器中有正确的init系统来处理进程回收。具体方法是在启动Docker容器时添加--init参数：

docker run --init [其他参数] 镜像名称

这个参数会让Docker使用一个轻量级的init系统(tini)作为容器的PID 1进程，它会负责回收孤儿进程，防止僵尸进程的积累。

技术原理

在Linux系统中，僵尸进程是已经终止执行但仍在进程表中留有记录的进程。它们会占用系统资源，直到父进程读取它们的退出状态。正常情况下，父进程应该调用wait()系统调用来回收子进程。

在容器环境中，如果没有专门的init系统：

1. 当主进程(PID 1)退出时，其子进程会被重新挂载到PID 1
2. 默认的PID 1进程不具备完整的init系统功能
3. 这些子进程退出后变成僵尸进程，无法被回收

--init参数引入的tini进程会：

1. 作为容器的主进程(PID 1)运行
2. 正确处理SIGTERM和SIGCHLD信号
3. 回收所有孤儿进程，防止僵尸进程积累

最佳实践

对于使用Crawlee-Python进行网页抓取的开发者，建议：

1. 在Docker环境中始终使用--init参数
2. 监控容器中的进程数量，特别是headless_shell进程
3. 定期检查系统内存使用情况
4. 考虑在长时间运行的爬虫任务中加入定期重启机制

通过遵循这些实践，可以确保爬虫任务稳定运行，避免因僵尸进程积累导致的资源耗尽问题。