Apache Parquet格式2.11.0版本深度解析

Apache Parquet是一种面向列的数据存储格式，专为高效的大规模数据处理而设计。它采用了复杂的压缩和编码技术，能够显著减少存储空间占用并提高查询性能。Parquet格式特别适合用于数据分析工作负载，被广泛应用于Hadoop生态系统和各种大数据处理框架中。

核心改进与特性

2.11.0版本在数据编码、类型系统和文档完善等方面进行了多项重要改进：

1. BYTE_STREAM_SPLIT编码扩展

此版本扩展了BYTE_STREAM_SPLIT编码的支持范围，现在可以处理INT32、INT64和FIXED_LEN_BYTE_ARRAY数据类型。这种编码方式特别适合浮点数据，通过将字节流拆分存储，可以提高压缩效率和解压速度。

2. 新增Variant逻辑类型

引入了一个重要的新逻辑类型——Variant，用于表示半结构化数据。Variant类型可以存储多种数据形式，包括：

• 基本数据类型（布尔值、整数、浮点数等）
• 字符串
• 二进制数据
• 复杂结构（列表、映射等）
• 时间类型（时间戳、日期等）
• UUID

这种类型的加入大大增强了Parquet处理JSON等半结构化数据的能力。

3. 几何数据类型支持

新增了GEOMETRY和GEOGRAPHY两种逻辑类型，为地理空间数据处理提供了原生支持。这使得Parquet能够更高效地存储和查询地理信息数据。

编码与压缩优化

2.11.0版本对几种编码方式进行了澄清和优化：

1. 明确了DELTA_BINARY_PACKED编码的行为细节，确保实现一致性
2. 统一了BYTE_ARRAY类型的使用规范，减少歧义
3. 完善了BYTE_STREAM_SPLIT编码的文档说明

文档与规范完善

此版本对Parquet格式规范进行了大量澄清和完善：

1. 修正了INTERVAL类型的排序顺序说明，明确指出它是未定义的
2. 完善了压缩部分的文档描述
3. 澄清了页面索引(page index)的确切含义
4. 明确了记录(record)不能跨v2页面或PageIndex分割的规则
5. 统一了文档中"行"(row)术语的使用
6. 完善了统计信息和列索引中null值数量的处理说明

安全增强

针对加密规范进行了重要更新：

1. 解决了AES GCM调用限制的问题
2. 更新了加密规范中的相关描述
3. 确保了加密实现的安全性

向后兼容性说明

2.11.0版本特别注意保持向后兼容性：

1. 明确了LIST类型的向后兼容规则
2. 标记了ColumnChunk::file_offset字段为已弃用
3. 确保所有变更都不会破坏现有实现

构建与工具链更新

项目构建系统也进行了多项更新：

1. 升级到Apache父POM 32
2. 更新Thrift依赖至0.21.0
3. 支持Java 21 LTS
4. 移除了过时的开发者信息
5. 清理了LICENSE文件

总结

Apache Parquet 2.11.0版本通过引入Variant类型和几何数据类型，显著扩展了其应用场景。同时，对现有编码方式的优化和文档的完善，使得这一列式存储格式更加成熟和可靠。这些改进使得Parquet能够更好地满足现代数据分析的需求，特别是在处理半结构化和地理空间数据方面。