RedisShake增量同步问题分析与解决方案

问题背景

RedisShake作为一款优秀的Redis数据迁移工具，在scan模式开启KSN(Keyspace Notification)功能时，用户反馈存在增量数据无法同步的问题。具体表现为全量同步完成后，在源端Redis插入新key后，目的端无法查看到对应的内容。

问题分析

核心原因

经过深入分析，发现该问题主要与Redis的notify-keyspace-events配置有关。Redis默认情况下不会开启该配置项，需要手动配置才能确保Keyspace通知功能正常工作。

技术细节

1. Keyspace通知机制：Redis通过发布/订阅机制提供Keyspace通知功能，可以通知客户端数据库中发生的事件。

2. 配置要求：要使RedisShake的KSN功能正常工作，必须确保Redis配置中包含AE参数：

   • A表示启用Keyspace通知
   • E表示启用Keyevent通知

3. 多DB环境问题：在测试中发现，当使用多DB环境时，如果修改了RedisShake源代码中关于DbId的处理逻辑，可能会导致增量同步失效。特别是当强制设置theEntry.DbId = 0时，非db0的修改将无法正确同步。

解决方案

正确配置Redis

1. 修改Redis配置文件，添加或修改以下配置：

   notify-keyspace-events AKE
   

   其中：

   • A：所有Keyspace事件
   • K：所有Keyevent事件
   • E：启用事件通知

2. 配置完成后重启Redis服务使配置生效。

代码修改注意事项

1. 避免直接修改RedisShake源代码中关于DbId的处理逻辑，除非完全理解其影响。

2. 如需修改DbId处理，应确保：

   • 源端和目的端的DB映射关系正确
   • 修改不会影响Keyspace通知的接收和处理

测试验证

1. 全量同步完成后，在源端不同DB中执行写入操作。

2. 观察目的端是否能够正确接收增量数据。

3. 特别关注非db0的写入操作是否能够正确同步。

最佳实践

1. 在生产环境使用前，先在测试环境验证配置和功能。

2. 对于多DB环境，确保源端和目的端的DB结构兼容。

3. 监控同步过程中的日志，特别是关于need_update_count的统计信息。

4. 定期检查同步延迟情况，确保数据一致性。

通过以上分析和解决方案，可以有效解决RedisShake在scan模式开启KSN时的增量同步问题，确保数据迁移的完整性和实时性。