Firecrawl v1.9.0 版本发布：全面提升爬取性能与自托管体验

Firecrawl 是一个现代化的网络爬取和数据提取平台，旨在为开发者提供高效、可靠的网络数据采集解决方案。最新发布的 v1.9.0 版本带来了一系列重要改进，特别是在自托管体验、爬取性能和系统稳定性方面有了显著提升。

自托管体验全面升级

本次更新对自托管功能进行了多项优化，使得开发者能够更轻松地在自己的环境中部署和使用 Firecrawl：

1. Supabase 客户端修复：解决了 Supabase 客户端配置问题，特别是当 USE_DB_AUTHENTICATION 设置为 false 时的错误处理更加完善。

2. LLM 提供商支持：增强了大型语言模型(LLM)提供商的支持，现在可以更灵活地配置和使用不同的 LLM 服务。

3. 性能提升：爬取速度得到了显著提升，通过优化底层架构和算法，使得数据采集过程更加高效。

4. 缓存系统：全局采用了可缓存的查找系统，减少了重复计算和网络请求，进一步提升了整体性能。

5. 简化设置：简化了安装和配置流程，降低了使用门槛，让开发者能够更快地上手。

爬取性能与功能增强

v1.9.0 版本在核心爬取功能上做了多项改进：

1. 爬取延迟控制：新增了 crawl delay 功能，支持按爬取任务设置并发限制，避免对目标网站造成过大压力。

2. 链接处理能力提升：将 map 端点的最大链接处理限制从 5,000 提升到 30,000，大幅增强了大规模数据采集能力。

3. 搜索功能优化：搜索 schema 的限制从 50 增加到 100，提供了更大的灵活性。

4. 队列优先级调整：重构了并发队列，改为基于时间而非优先级进行调度，使得任务处理更加公平合理。

系统稳定性与错误处理

新版本在系统稳定性方面做了多项改进：

1. SSL 错误处理：增强了 SSL 失败时的错误处理机制，提供更清晰的错误信息。

2. 可选链修复：修复了多处可选链操作符缺失的问题，提高了代码的健壮性。

3. 字段验证：在 firecrawl-py 中完善了 WaitAction 字段的验证逻辑。

4. 错误日志：为 API 提取功能添加了更详细的错误日志记录，便于问题排查。

开发者工具与 SDK 改进

对于使用 Firecrawl SDK 的开发者，v1.9.0 带来了以下改进：

1. 变更追踪：在 SDK 2.0 中新增了变更追踪功能，方便开发者监控数据变化。

2. 批量爬取控制：新增了取消批量爬取的端点，提供了更好的任务管理能力。

3. 示例丰富：新增了使用 OpenRouter 的 Qwen3 网络爬取示例，为开发者提供了更多参考。

4. 参数支持：在所有 SDK 中添加了对 delay 参数的支持，增强了爬取控制能力。

存储与缓存优化

1. GCS 存储支持：实现了对 Google Cloud Storage 的支持，可用于存储爬取结果。

2. 缓存系统：为 RunPod PDF 的 markdown 结果添加了 GCS 缓存，减少了重复处理的开销。

3. 全局缓存：在整个系统中广泛采用了可缓存的查找机制，提高了整体效率。

总结

Firecrawl v1.9.0 是一个重要的里程碑版本，在自托管体验、爬取性能、系统稳定性和开发者工具等方面都做出了显著改进。这些变化不仅提升了平台的可靠性和效率，也为开发者提供了更强大的功能和更友好的使用体验。对于需要高效网络数据采集解决方案的团队来说，这个版本值得关注和升级。