Crawlee-Python 项目中的日志格式优化实践

在 Python 爬虫框架 Crawlee-Python 的开发过程中，开发团队发现了一个关于统计信息日志格式的问题。这个问题涉及到如何优雅地展示爬虫运行时的各项统计数据，使其既美观又实用。

问题背景

在当前的实现中，Crawlee-Python 框架会记录爬虫运行时的各种统计信息，包括请求完成数、失败数、重试直方图、平均请求耗时等关键指标。然而，这些统计信息在日志中的展示格式存在以下问题：

1. 使用了 8 个空格的缩进，这在视觉上显得过于宽松
2. JSON 数据的展示方式不够紧凑，占用了过多的垂直空间
3. 与 JavaScript 版本的 Crawlee 实现风格不一致

解决方案讨论

开发团队经过讨论，提出了几种改进方案：

1. 缩进优化方案：将 8 空格缩进改为 4 空格，使结构更加紧凑
2. 完整格式化方案：采用更标准的 JSON 展示格式，包括适当的换行和缩进
3. 单行紧凑方案：借鉴 JavaScript 版本的实现，将所有统计信息压缩到单行中

最终决策

经过权衡，团队决定采用第三种方案 - 单行紧凑格式。这种方案具有以下优势：

• 与 JavaScript 版本保持一致性，便于跨语言项目的统一管理
• 减少日志体积，提高日志文件的可读性
• 避免因多行日志造成的日志系统解析问题
• 更符合生产环境中日志记录的最佳实践

实现效果

优化后的日志输出将呈现如下形式：

2024-06-12T13:39:24.201Z INFO AdaptivePlaywrightCrawler: Final request statistics: {"requestsFinished":59,"requestsFailed":0,"retryHistogram":[59],"requestAvgFailedDurationMillis":null,"requestAvgFinishedDurationMillis":1071,"requestsFinishedPerMinute":67,"requestsFailedPerMinute":0,"requestTotalDurationMillis":63215,"requestsTotal":59,"crawlerRuntimeMillis":53197}

这种格式不仅节省了空间，还能确保日志系统能够正确地将每条统计信息视为一个完整的日志条目，便于后续的日志收集和分析。

技术意义

这次日志格式的优化虽然看似简单，但实际上体现了几个重要的工程实践：

1. 跨语言一致性：保持不同语言实现间的一致性，降低使用者的认知负担
2. 日志规范化：遵循日志记录的最佳实践，确保日志的可解析性和可操作性
3. 性能考量：减少不必要的日志体积，降低 I/O 压力
4. 可维护性：使日志输出更加专业和一致，提升代码质量

这种改进对于大规模爬虫系统的运维和监控尤为重要，能够帮助开发者更高效地分析和诊断爬虫运行状况。