Apache Kyuubi项目中Spark Hive连接器读取TPCDS Parquet表的兼容性问题分析

背景介绍

在Apache Kyuubi项目中，用户在使用Spark Hive连接器读取TPCDS基准测试生成的Parquet格式数据时遇到了兼容性问题。这个问题特别出现在尝试查询catalog_sales和store_returns等表时，系统抛出ParquetDecodingException异常。

问题现象

当用户执行简单的查询语句如select * from catalog_sales limit 1时，系统会抛出以下关键异常：

Caused by: org.apache.parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file...
Caused by: java.lang.UnsupportedOperationException: org.apache.parquet.column.values.dictionary.PlainValuesDictionary$PlainIntegerDictionary

类似地，查询store_returns表时也会出现类似的解码错误，这表明这是一个系统性的格式兼容性问题而非个别表的异常。

根本原因分析

经过深入分析，这个问题源于Kyuubi Spark Hive连接器当前实现中的几个关键技术限制：

1. Hive SerDe兼容性限制：当前连接器强制使用Hive的序列化/反序列化(SerDe)机制来读写Hive表，这继承了Spark内置Hive实现(基于Hive 2.3.9)的所有限制。

2. Parquet格式支持局限：Hive 2.3.9的Parquet实现存在对新版Parquet逻辑类型的支持不足，特别是当数据使用新版Parquet格式(非传统格式)写入时。

3. 非向量化读取：当前实现采用非向量化的读取方式，这在处理大规模数据时会导致性能问题。

解决方案

针对这个特定问题，目前有以下两种解决方案：

1. 临时解决方案：在生成TPCDS数据时，启用Spark的旧版Parquet格式支持：

   SET spark.sql.parquet.writeLegacyFormat=true;
   

   这个配置会强制Spark使用与Hive 2.3.9兼容的Parquet格式写入数据。

2. 长期解决方案：社区正在考虑实现一个机制来支持spark.sql.hive.convertMetastoreParquet配置（或定义新的专用配置），将Hive Parquet表读取转换为Spark DataSource表读取，从而绕过Hive SerDe的限制。

技术展望

虽然当前存在这些限制，但Kyuubi社区已经认识到这些问题并计划进行改进。未来的发展方向可能包括：

1. 提供更灵活的Parquet格式支持选项
2. 实现向量化读取以提高性能
3. 支持新版Parquet逻辑类型
4. 提供更细粒度的格式转换控制

最佳实践建议

对于当前需要使用Kyuubi Spark Hive连接器处理Parquet格式数据的用户，建议：

1. 对于新生成的数据，始终设置spark.sql.parquet.writeLegacyFormat=true
2. 对于已有数据，考虑使用Spark重写为传统格式
3. 关注Kyuubi的版本更新，及时获取对新型Parquet格式的支持
4. 对于性能敏感场景，考虑评估其他连接器选项

通过理解这些技术限制和解决方案，用户可以更好地规划他们的数据处理流程，避免遇到类似的兼容性问题。