DuckDB与PyArrow在S3查询性能上的对比分析

概述

在数据分析领域，DuckDB和PyArrow都是广受欢迎的工具。本文通过一个实际案例，对比分析了这两种工具在查询S3存储的Parquet文件时的性能差异。案例中，用户发现DuckDB的查询速度比PyArrow慢了约10倍，这引发了我们对两种工具内部工作机制的深入探讨。

测试环境与数据

测试使用了存储在S3上的地理Parquet文件，采用Hive分区方式组织（按年/月/日分区）。数据集总大小约28GB，包含63个文件，其中最大的单个文件约1.8GB。数据按device_id排序，测试查询特定日期和设备ID的记录。

查询性能对比

测试查询的基本形式为：

SELECT *
FROM dataset
WHERE year = 2025 AND
      month = 1 AND
      day = 1 AND
      device_id IN (设备ID列表) AND 
      mmsi IN (MMSI列表)

PyArrow实现使用了箭头计算表达式：

filter = (
        (pc.field('year') == 2025) &
        (pc.field('month') == 1) &
        (pc.field('day') == 1) &
        (pc.field('device_id').isin(hashed_ids)) &
        (pc.field('mmsi').isin(mmsis))
)

测试结果显示：

• PyArrow查询耗时约2.5秒
• DuckDB查询耗时约35秒

性能差异原因分析

通过日志分析发现，虽然两者都读取相同的4个Parquet文件，但DuckDB存在以下问题：

1. 重复读取问题：DuckDB会多次读取相同的字节范围，这在处理大文件（如1.8GB的文件）时尤为明显。

2. 查询优化差异：PyArrow的过滤实现可能更高效地利用了Parquet文件的统计信息和索引。

3. S3访问模式：DuckDB的S3客户端实现可能没有PyArrow优化得好，导致更多的网络请求。

解决方案与优化

开发团队提出了几个可能的优化方向：

1. 使用IN替代ANY：虽然测试显示性能提升有限，但在某些场景下可能有效。

2. 等待修复补丁：开发团队已经识别到问题并提交了修复补丁（PR #16224）。

3. 配置调整：可能需要调整DuckDB的并行度和内存设置以获得更好的性能。

结论

对于S3上的Parquet文件查询，PyArrow在当前测试中表现出明显优势。DuckDB团队正在积极解决性能问题，用户可以考虑：

1. 对于性能敏感的应用，暂时使用PyArrow
2. 关注DuckDB的更新，特别是针对S3查询的优化
3. 根据具体场景进行性能测试，选择最适合的工具

随着DuckDB的持续发展，预期其在云存储查询性能方面会有显著提升，为用户提供更多选择。