KubeBlocks中ClickHouse集群数据同步问题分析与解决方案

问题背景

在使用KubeBlocks部署ClickHouse分布式集群时，用户遇到了数据不同步的问题。具体表现为：当通过客户端向集群写入数据后，不同节点查询到的结果不一致，部分节点甚至无法识别已创建的数据表。

问题现象

用户部署了一个包含3个节点的ClickHouse集群（2个ClickHouse节点和1个Keeper节点），并通过测试客户端持续向集群写入数据。然而在查询时发现：

1. 节点1(chouse-ggdyxr-clickhouse-0)报错"Database executions_loop doesn't exist"
2. 节点2(chouse-ggdyxr-clickhouse-1)成功查询到7779条记录
3. 节点3(chouse-ggdyxr-clickhouse-2)同样报错"Database executions_loop doesn't exist"

这表明集群中的数据没有正确同步，只有部分节点接收到了数据变更。

技术分析

ClickHouse作为分布式数据库，其DDL(数据定义语言)操作需要显式指定在集群范围内执行。默认情况下，DDL语句仅在当前连接的节点上执行，不会自动传播到集群中的其他节点。

在用户案例中，创建数据库和表的DDL操作没有正确同步到所有节点，导致部分节点无法识别这些数据库对象。而DML(数据操作语言)操作则通过分布式表机制正常同步，因此部分节点能够查询到数据。

解决方案

要解决这个问题，需要在执行DDL语句时显式指定集群范围。ClickHouse提供了ON CLUSTER语法来实现这一功能。具体修改如下：

1. 创建数据库时应使用：

CREATE DATABASE executions_loop ON CLUSTER default

2. 创建表时应使用：

CREATE TABLE executions_loop.executions_loop_table ON CLUSTER default (...)

其中default是ClickHouse集群的名称，需要与部署时的集群配置保持一致。

最佳实践建议

1. 统一DDL执行方式：所有DDL操作都应添加ON CLUSTER子句，确保集群范围内的一致性

2. 集群命名规范：部署时明确指定集群名称，并在所有DDL中保持一致

3. 客户端配置：在应用程序中配置正确的连接参数，确保连接到正确的集群

4. 监控验证：定期检查各节点的数据一致性，确保DDL操作已正确同步

5. 权限管理：确保执行DDL操作的用户具有足够的集群级别权限

总结

KubeBlocks部署的ClickHouse集群出现数据不同步问题，主要是由于DDL操作没有正确指定集群范围导致的。通过使用ON CLUSTER语法可以确保DDL操作在整个集群中同步执行，从而保证数据一致性。在实际生产环境中，建议将这一要求纳入开发规范，并通过自动化工具进行检查，以避免类似问题的发生。