Apache Druid 使用 AWS S3 作为深度存储时的性能优化实践

Apache Druid 是一个高性能的实时分析数据库，在数据摄取和查询过程中经常使用云存储服务如 AWS S3 作为深度存储。然而，当 Historical 节点首次加载数据时，可能会遇到从 S3 下载速度远低于预期的问题。

问题现象

在实际部署中，当 Historical 节点首次启动且本地没有任何缓存数据时，从 S3 下载数据的速度可能仅为 50MB/s 左右。相比之下，使用 AWS CLI 工具在相同环境下可以达到 400-500MB/s 的下载速度。这表明 Druid 的默认配置在 S3 数据传输方面存在优化空间。

性能瓶颈分析

通过测试和观察，我们发现以下几个关键点：

1. 并发请求限制：Druid 默认的并发下载线程数可能不足以充分利用网络带宽
2. HTTP 连接池配置：Coordinator 和 Historical 节点间的通信参数可能限制了并行加载能力
3. S3 客户端配置：Druid 使用的 S3 客户端默认参数可能不是最优的

优化方案

经过多次测试和调整，我们确定了以下有效的优化配置：

Coordinator 节点配置

druid.coordinator.loadqueuepeon.http.batchSize=10

这个参数控制 Coordinator 向 Historical 节点发送加载任务时的批量大小。增加此值可以提高任务分发效率。

Historical 节点配置

druid.segmentCache.numLoadingThreads=10
druid.server.http.numThreads=25

其中：

• numLoadingThreads 控制并行加载 Segment 的线程数
• http.numThreads 设置 HTTP 服务线程池大小，影响节点间通信能力

额外考虑的优化方向

虽然以下配置在测试中未被证实有效，但值得关注：

1. S3 多部分上传设置：类似 AWS CLI 的优化思路
2. JVM 内存配置：确保 Direct Memory 足够大以支持高效网络传输
3. 连接池参数：调整 S3 客户端的最大连接数

实施效果

应用上述优化后，Historical 节点从 S3 加载数据的速度显著提升，基本可以达到与 AWS CLI 相近的性能水平。这大大缩短了集群冷启动或扩容时的数据加载时间。

总结

对于使用 AWS S3 作为深度存储的 Druid 集群，合理调整 Coordinator 和 Historical 节点的并发相关参数是提升初始数据加载性能的关键。建议在生产环境中根据实际网络条件和硬件配置对这些参数进行微调，以达到最佳性能。同时，监控系统资源使用情况（CPU、内存、网络）对于确定最优配置也至关重要。