ByConity项目中倒排索引读取失败问题的分析与解决

问题背景

在ByConity分布式数据仓库系统中，用户报告了一个关于倒排索引(GIN索引)读取失败的问题。具体表现为：当用户对包含倒排索引的表执行ALTER TABLE修改表结构操作后，后续查询中使用该倒排索引的条件过滤时会抛出异常。

问题现象重现

1. 创建测试表并定义倒排索引：

CREATE TABLE test.test20 (
    `__ts__` DateTime64(3),
    `__message__` String,
    INDEX __ts__ __ts__ TYPE minmax GRANULARITY 4,
    INDEX __message_inverted__ __message__ TYPE inverted GRANULARITY 2
) ENGINE = CnchMergeTree 
PARTITION BY toStartOfInterval(__ts__, toIntervalHour(12)) 
ORDER BY __ts__ 
SETTINGS index_granularity = 8192;

2. 插入测试数据：

insert into test.test20 values('2022-01-01 12:12:12', 'part 1');
insert into test.test20 values('2022-01-01 12:12:13', 'part 2');

3. 执行ALTER TABLE删除索引：

alter table test.test20 drop index __ts__;

4. 查询时出现错误：

select * from test.test20 where __message__ like '%df%';

错误分析

从错误日志可以看出，系统在尝试读取倒排索引数据时遇到了"InvalidRange"异常。深入分析发现：

1. 问题发生在GinIndexStore的读取过程中，系统无法正确解析倒排索引的段信息
2. 错误源于S3存储读取时范围无效
3. 临时解决方案是通过设置disk_cache_mode='SKIP_DISK_CACHE'并执行OPTIMIZE TABLE后，查询可以正常工作

根本原因

经过深入分析，确定问题的根本原因是：

GinDataLocalPartHelper没有正确处理part的MVCC(多版本并发控制)机制。当表结构发生变化(如删除索引)后，系统仍然尝试使用旧的索引结构来读取倒排索引数据，导致数据解析失败。

具体表现为：

1. 系统在读取倒排索引时，没有考虑表结构变更的影响
2. 对于已经修改了表结构的part，系统仍然尝试使用旧的索引定义来解析数据
3. 本地磁盘缓存中可能保留了旧的索引数据，导致读取时出现不一致

解决方案

针对这个问题，可以采取以下解决方案：

1. 代码修复：修改GinDataLocalPartHelper的实现，使其正确处理part的MVCC机制

   • 在读取倒排索引前检查表结构版本
   • 对于表结构已变更的part，使用新的索引定义重新构建索引数据

2. 临时规避措施：

   -- 跳过磁盘缓存
   SET disk_cache_mode='SKIP_DISK_CACHE';
   
   -- 优化表重建索引
   OPTIMIZE TABLE test.test20;
   
   -- 正常查询
   SELECT * FROM test.test20 WHERE __message__ LIKE '%df%';
   

3. 系统增强：

   • 在表结构变更时自动标记相关part的索引为需要重建
   • 实现索引数据的版本控制机制
   • 增强错误处理，当索引读取失败时自动回退到全表扫描

技术深度解析

ByConity的倒排索引实现基于GIN(Generalized Inverted Index)索引结构，主要用于加速文本搜索等操作。其核心组件包括：

1. GinIndexStore：负责倒排索引的存储和检索
2. GinDataPartHelper：处理与数据part相关的索引操作
3. 索引序列化/反序列化：将索引数据持久化到存储系统

问题的关键在于索引数据与表结构的版本一致性。当表结构变更时，系统需要：

1. 记录变更的版本号
2. 对现有part的索引数据进行版本检查
3. 必要时重建索引以确保一致性

最佳实践建议

为避免类似问题，建议用户：

1. 在频繁变更表结构的开发环境中，谨慎使用倒排索引
2. 执行表结构变更后，考虑主动执行OPTIMIZE TABLE重建索引
3. 监控系统日志，及时发现和处理索引相关错误
4. 对于关键业务表，考虑在低峰期执行表结构变更

总结

ByConity中的这个倒排索引读取问题揭示了分布式系统中索引管理与表结构变更协同工作的重要性。通过深入分析，我们不仅找到了问题的根本原因和解决方案，还对系统的索引管理机制有了更深入的理解。这类问题的解决不仅修复了当前缺陷，也为系统未来的稳定性改进提供了宝贵经验。