DrissionPage 项目中查找不存在元素时的性能优化
2025-05-24 03:41:26作者:昌雅子Ethen
问题现象分析
在使用 DrissionPage 进行网页自动化测试时,发现一个性能问题:当查找页面中存在的元素时,速度很快(不到1秒);但当查找不存在的元素时,每次查找需要等待约10秒钟。这种延迟在自动化测试场景中会显著降低执行效率。
问题原因
经过分析,这个问题主要源于 DrissionPage 的默认工作模式。DrissionPage 支持两种工作模式:
- d 模式:直接控制浏览器,通过 CDP 协议与浏览器交互
- s 模式:使用 requests 获取网页源码,再用 lxml 解析
在 d 模式下,当查找不存在的元素时,DrissionPage 会等待较长时间以确保元素确实不存在,而不是因为页面尚未加载完成。这种保守策略虽然提高了可靠性,但牺牲了性能。
解决方案
方案一:切换到 s 模式
对于不需要与页面交互的简单元素查找任务,可以切换到 s 模式:
from DrissionPage import SessionPage
page = SessionPage()
page.get(url)
elements = page.eles(selector)
s 模式的优点:
- 解析速度快
- 资源消耗低
- 适合简单的数据抓取场景
但需要注意:
- 无法执行 JavaScript
- 不能处理动态加载的内容
- 某些情况下可能遇到解析错误(如文档为空)
方案二:调整超时参数
在 d 模式下,可以通过设置 timeout 参数来优化查找不存在元素时的等待时间:
# 设置超时为2秒
found_elements = page.eles(selector, timeout=2)
方案三:混合使用两种模式
对于复杂场景,可以结合使用两种模式:
- 先用 s 模式快速检查元素是否存在
- 如果需要交互,再切换到 d 模式
from DrissionPage import SessionPage, ChromiumPage
# 先用s模式快速检查
s_page = SessionPage()
s_page.get(url)
if s_page.ele('#some-element', timeout=1):
# 如果需要交互,切换到d模式
d_page = ChromiumPage()
d_page.get(url)
# 执行交互操作
最佳实践建议
-
根据任务性质选择合适的模式:
- 纯数据抓取 → s 模式
- 需要交互 → d 模式
-
在 d 模式中合理设置超时时间,平衡可靠性和性能
-
对于已知不存在的元素查找,可以封装工具函数:
def quick_check_element(page, selector):
return page.eles(selector, timeout=1) if page.mode == 'd' else page.eles(selector)
- 监控和记录元素查找耗时,持续优化超时参数
通过以上方法,可以显著提升 DrissionPage 在自动化测试和数据抓取任务中的执行效率,特别是在需要频繁检查元素是否存在的场景下。
登录后查看全文
热门项目推荐
相关项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0185
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0112
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
omega-aiOmega-AI:基于java打造的深度学习框架,帮助你快速搭建神经网络,实现模型推理与训练,引擎支持自动求导,多线程与GPU运算,GPU支持CUDA,CUDNN。Java03
llm-universe本项目是一个面向小白开发者的大模型应用开发教程,在线阅读地址:https://datawhalechina.github.io/llm-universe/Jupyter Notebook08
热门内容推荐
项目优选
收起
暂无描述
Dockerfile
759
4.94 K
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
854
1.91 K
deepin linux kernel
C
32
16
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
674
1.32 K
Ascend Extension for PyTorch
Python
716
866
Claude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed.
Get Started
Rust
1.78 K
185
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
454
436
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.07 K
1.09 K
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Python
991
598
暂无简介
Dart
1 K
259