ClickHouse在RedHat Enterprise Linux 9.5内核环境下的稳定性问题分析

问题背景

近期在ClickHouse社区中，用户报告了在RedHat Enterprise Linux 9.5（内核版本5.14.0-503.23.2.el9_5）环境下运行ClickHouse 23.3.19版本时出现的稳定性问题。这些问题表现为随机崩溃、段错误和逻辑错误，且具有多样化的堆栈跟踪信息。值得注意的是，当系统回退到之前的稳定内核版本（5.14.0-427.60.1.el9_4）后，所有问题都得到了解决。

问题现象

受影响的系统表现出多种异常行为，主要包括：

1. 内存访问违规：包括读取未映射的内存区域、写入受保护的内存区域等
2. NULL指针解引用：在多处代码路径中出现对空指针的访问
3. 内存分配异常：出现过大的内存分配请求（15793110637144826801字节）
4. 数据类型校验失败：如"Part minmax index by time is neither DateTime or DateTime64"等逻辑错误

这些错误分布在系统的多个关键组件中，包括：

• 聚合计算（AggregatingTransform）
• 数据部分处理（IMergeTreeDataPart）
• 低基数类型处理（ColumnLowCardinality）
• 后台清理任务（ReplicatedMergeTreeCleanupThread）

技术分析

从错误模式来看，这些问题具有以下共同特征：

1. 内存一致性破坏：多个错误都表现为对内存的非法访问，这可能是由于内存管理子系统的问题导致的。

2. 时间相关性：问题在系统升级后立即出现，回退后立即消失，表明与内核版本高度相关。

3. 跨组件影响：错误出现在系统多个不相关的组件中，排除了单一功能模块缺陷的可能性。

值得注意的是，RedHat 9.5的变更日志中提到了一些可能相关的内核修改，特别是关于默认页面大小的调整以及对jemalloc内存分配器的潜在影响。这与观察到的内存相关错误模式高度吻合。

历史相似问题

这并非ClickHouse首次在RedHat系列系统上遇到内核相关问题。在早期的9.2版本中，就曾因mremap系统调用导致过稳定性问题。该问题最终通过移除对mremap的依赖得到解决（在23.9及以上版本中修复）。

解决方案建议

对于遇到类似问题的用户，建议采取以下措施：

1. 内核回退：暂时回退到已知稳定的内核版本（5.14.0-427.60.1.el9_4）。

2. 版本升级：考虑升级到包含相关修复的ClickHouse新版本（23.9或更高）。

3. 监控系统日志：密切关注系统日志中出现的异常模式，特别是内存相关的警告信息。

4. 测试环境验证：在生产环境部署前，应在测试环境中充分验证新内核版本的稳定性。

结论

操作系统内核作为基础运行环境，其稳定性对上层应用至关重要。这次事件再次提醒我们，在关键业务系统中，内核升级需要谨慎评估和充分测试。ClickHouse社区将持续关注此类系统级兼容性问题，为用户提供更稳定的数据服务体验。

对于生产环境用户，建议在升级关键系统组件前，参考社区经验并制定完善的回退方案，以确保业务连续性。