Apache Kyuubi 中小文件合并问题分析与解决方案

问题背景

在使用Apache Kyuubi 1.8.0版本时，用户发现系统没有按照预期合并小文件。这是一个在数据处理系统中常见的问题，特别是在Spark生态系统中，小文件过多会导致元数据管理压力增大、查询性能下降等一系列问题。

问题现象

从用户提供的截图信息可以看出：

1. 系统生成了大量小文件
2. 文件大小明显小于预期合并阈值
3. 没有触发预期的文件合并操作

技术分析

在Spark SQL中，小文件合并通常通过以下机制实现：

1. 自适应查询执行(AQE)：Spark 3.0引入的AQE功能可以动态调整执行计划，包括合并小分区
2. 合并分区参数：通过spark.sql.adaptive.advisoryPartitionSizeInBytes等参数控制合并后的分区大小
3. 并行度优先策略：spark.sql.adaptive.coalescePartitions.parallelismFirst参数控制合并策略

根本原因

根据技术专家的回复，问题可能出在spark.sql.adaptive.coalescePartitions.parallelismFirst参数的设置上。当该参数设置为true时，Spark会优先考虑并行度而非分区大小，这可能导致即使存在小文件也不会被合并。

解决方案

推荐配置

spark.sql.adaptive.coalescePartitions.parallelismFirst=false
spark.sql.adaptive.enabled=true
spark.sql.adaptive.advisoryPartitionSizeInBytes=128MB

详细解释

1. 关闭并行度优先：将parallelismFirst设为false，让系统优先考虑分区大小而非并行度
2. 启用AQE：确保自适应查询执行功能已启用
3. 设置合理分区大小：根据集群资源和数据特点，设置合适的建议分区大小

最佳实践

1. 对于批处理作业，建议关闭parallelismFirst以获得更好的文件合并效果
2. 对于交互式查询，可以适当保留一定并行度以提升响应速度
3. 定期监控输出文件大小分布，及时调整参数
4. 考虑结合使用repartition或coalesce等显式操作控制输出文件数量

总结

Apache Kyuubi作为Spark SQL服务网关，其文件合并行为实际上由底层Spark引擎控制。理解Spark的文件合并机制和参数配置对于优化存储效率至关重要。通过合理配置AQE相关参数，特别是parallelismFirst参数，可以有效解决小文件过多的问题，提升系统整体性能。