ScrapeGraphAI v1.35.0版本发布：增强超时控制与搜索功能

项目概述

ScrapeGraphAI是一个基于图结构的网络爬虫框架，它通过将爬取过程建模为图结构中的节点和边，提供了灵活且强大的网页数据采集能力。该框架特别适合处理复杂的网页抓取场景，能够智能地导航和提取结构化数据。

核心功能增强

超时与重试机制优化

本次v1.35.0版本在稳定性方面做出了重要改进，新增了graph级别的超时控制功能。开发者现在可以为整个图执行过程设置超时时间，避免因网络问题或目标网站响应缓慢导致的长时间阻塞。

同时，在loader_kwargs中新增了timeout和retry_limit参数，这使得开发者能够：

• 为单个请求设置特定的超时时间
• 控制请求失败后的重试次数
• 更精细地管理网络请求行为

这些改进特别适合处理不稳定网络环境下的爬取任务，大大增强了框架的健壮性。

Serper API集成

v1.35.0版本引入了对Serper API的支持，这是一个强大的搜索引擎API。通过这项集成，开发者可以：

• 执行高效的网络搜索
• 获取精准的搜索结果
• 将搜索功能无缝集成到爬取流程中

这项功能扩展了ScrapeGraphAI的应用场景，使其不仅能够抓取已知URL的内容，还能通过搜索发现新的相关内容。

开发者体验改进

代码质量保障

本次更新引入了codequality工作流，这是一个自动化代码质量检查机制，它能够：

• 自动执行代码规范检查
• 确保代码风格一致性
• 提高项目整体可维护性

贡献流程优化

项目改进了贡献指南和预提交(precommit)配置，使得开发者能够：

• 更轻松地参与项目贡献
• 在提交代码前自动执行必要的检查
• 保持代码库的整洁和一致性

问题修复

v1.35.0版本还包含了一些重要的错误修复：

• 修复了Browserbase集成问题，确保这个浏览器自动化工具能够正常工作
• 改进了本地HTML处理逻辑，使得处理本地保存的网页文件更加可靠

技术实现细节

在底层实现上，本次更新主要涉及：

• 异步任务管理的改进，特别是超时控制机制
• 第三方API集成架构的优化
• 错误处理和重试逻辑的增强

这些改进使得ScrapeGraphAI在处理大规模、复杂的爬取任务时表现更加稳定可靠。

升级建议

对于现有用户，升级到v1.35.0版本可以获得更好的稳定性和新功能。特别是：

• 需要处理不可靠网络环境的项目应该利用新的超时和重试功能
• 需要结合搜索功能的爬取任务可以尝试新的Serper API集成
• 项目维护者会受益于改进的代码质量保障机制

这个版本标志着ScrapeGraphAI在稳定性和功能性上的重要进步，为开发者提供了更强大的工具来处理各种网页数据采集挑战。