Kvrocks集群中从节点同步失败的排查与分析

问题背景

在使用Kvrocks构建Redis集群环境时，开发人员遇到了一个典型的主从同步问题：在主节点上执行SET操作后，从节点无法获取到相应的数据。该问题发生在Kvrocks 2.8版本与Kvrocks-controller的不稳定版本组合环境中，且编译时启用了-DPORTABLE=1选项。

环境配置

集群配置采用了6节点部署方案，分布在3台物理主机上，配置了2个副本。通过Kvrocks-controller的API接口创建集群，具体节点分布为：

• 192.168.1.189:16660
• 192.168.1.189:16661
• 192.168.1.175:16662
• 192.168.1.175:16663
• 192.168.1.51:16664
• 192.168.1.51:16665

问题现象

当在主节点执行SET ld 1111111111111111命令后，从节点执行GET ld命令无法获取到预期值，表明主从数据同步出现了异常。

排查过程

通过检查从节点的nodes.conf配置文件，发现了一个关键配置项master-use-repl-port被设置为yes。在Kvrocks集群环境中，这个配置项的正确值应该为no。

技术分析

master-use-repl-port配置项控制着主节点是否使用复制端口进行通信。在集群模式下：

1. 当设置为yes时，主节点会尝试使用复制端口进行数据同步，这在集群环境中会导致通信异常
2. 当设置为no时，主节点会使用正常的集群通信端口，保证数据同步的正常进行

这个配置项在单机主从复制和集群模式下的行为是不同的，开发人员需要特别注意集群环境下的正确配置。

解决方案

将master-use-repl-port配置项修改为no后，主从同步功能恢复正常。具体修改方式可以通过以下步骤：

1. 停止Kvrocks服务
2. 编辑配置文件，设置master-use-repl-port no
3. 删除或备份旧的nodes.conf文件（系统会重新生成正确的配置）
4. 重启Kvrocks服务

经验总结

在部署Kvrocks集群时，开发人员需要注意以下几点：

1. 集群模式下的配置与单机模式有所不同，需要仔细检查各项配置
2. 主从同步问题通常与网络配置、端口设置密切相关
3. nodes.conf文件记录了集群的拓扑信息，出现同步问题时应该首先检查该文件
4. 不同版本的Kvrocks可能有不同的默认配置，升级时需要注意配置兼容性

这个问题提醒我们，在分布式系统部署过程中，配置管理是确保系统正常运行的关键环节，任何细微的配置差异都可能导致功能异常。