ByConity项目中system.cnch_parts表分区查询问题解析

在ByConity分布式数据库系统中，system.cnch_parts表是存储分区信息的重要系统表。近期有用户反馈在该表上进行分区筛选查询时遇到了结果不准确的问题，本文将深入分析这一现象的原因并提供解决方案。

问题现象

用户在使用system.cnch_parts表查询分区信息时，发现以下两种查询方式返回了相同的结果：

-- 查询1
SELECT DISTINCT partition
FROM system.cnch_parts
WHERE (database = 'open') AND (table = 'open_msg_log') AND (partition <= '2024-07-12')

-- 查询2
SELECT DISTINCT partition
FROM system.cnch_parts
WHERE (database = 'open') AND (table = 'open_msg_log') AND (partition <= '2024-07-11')

尽管两个查询使用了不同的分区筛选条件，但返回的结果集却完全相同，包含了不符合条件的分区数据。

原因分析

经过深入排查，发现问题的根源在于system.cnch_parts表中partition列的存储格式和查询条件的匹配方式：

1. partition列存储格式：该列实际存储的是带有单引号的字符串值，如"'2024-07-12'"，而非单纯的日期格式"2024-07-12"

2. 查询条件解析：当使用partition <= '2024-07-12'这样的条件时，系统实际上是在比较字符串"'2024-07-12'"和"'2024-07-12'"，由于引号的存在导致比较结果不符合预期

3. partition_id列差异：system.cnch_parts表中还存在partition_id列，该列存储的是不带连字符的日期格式，如"20240712"

解决方案

针对这一问题，我们提供以下几种正确的查询方式：

方法一：使用partition列并正确转义引号

SELECT DISTINCT partition
FROM system.cnch_parts
WHERE (database = 'open') 
  AND (table = 'open_msg_log') 
  AND (partition <= '\'2024-07-12\'')

注意在日期值两侧添加转义的单引号，确保与列中存储的格式一致。

方法二：使用partition_id列查询

SELECT DISTINCT partition
FROM system.cnch_parts
WHERE (database = 'open') 
  AND (table = 'open_msg_log') 
  AND (partition_id <= '20240712')

使用partition_id列时需要注意：

1. 日期格式必须去除连字符
2. 使用单引号包裹日期值即可

最佳实践建议

1. 了解系统表结构：在使用system.cnch_parts等系统表前，应先了解各列的实际存储格式

2. 优先使用partition_id：对于日期分区查询，推荐使用partition_id列，其格式更规范且查询效率更高

3. 统一查询规范：团队内部应制定统一的查询规范，避免因格式问题导致的查询错误

4. 测试验证：对于关键查询，建议先在测试环境验证结果是否符合预期

总结

ByConity的system.cnch_parts表提供了两种分区标识列，理解它们的存储差异对于编写正确的查询语句至关重要。通过本文的分析和解决方案，开发者可以避免类似的分区查询问题，提高查询的准确性和效率。在实际应用中，建议根据具体场景选择最适合的查询方式，并建立相应的查询规范。