Apache Pegasus 跨集群数据复制中 DS_APP 状态卡住问题分析

问题背景

Apache Pegasus 是一个分布式键值存储系统，提供了跨集群数据复制(duplication)功能。在实际使用中，用户发现当尝试通过检查点(checkpoint)方式进行数据复制时，复制任务会长时间停留在 DS_APP 状态而无法继续执行。

问题现象

用户首先在源集群创建了一个名为 test_dup1 的表并写入两条测试数据。随后，用户尝试添加一个新的跨集群复制任务，指定了目标集群名称、目标表名和副本数，并启用了检查点功能。命令执行后，系统返回添加成功的信息，但复制任务状态却一直停留在 DS_APP 状态。

技术分析

DS_APP 状态表示系统正在为目标应用创建副本配置。正常情况下，这个状态应该是短暂的过渡状态，很快就会转变为其他状态。但在这个案例中，系统卡在了这个状态，表明创建副本配置的过程出现了问题。

从错误日志可以看出，系统在查询目标集群上的应用配置时返回了 ERR_OBJECT_NOT_FOUND 错误，这意味着目标集群上不存在指定的应用。然而，按照 Pegasus 的设计，当使用检查点方式进行跨集群复制时，如果目标应用不存在，系统应该自动创建它。

根本原因

经过深入分析，发现问题出在系统处理目标应用创建的流程上。当指定了目标应用名称和副本数时，系统没有正确执行目标应用的创建操作，而是直接进入了查询目标应用配置的步骤。由于目标应用尚未创建，查询操作自然失败，导致整个复制流程停滞在 DS_APP 状态。

解决方案

该问题已被修复，修复方案确保了在指定目标应用名称和副本数的情况下，系统会先正确创建目标应用，然后再继续后续的复制流程。这样就能避免因目标应用不存在而导致复制任务卡住的情况。

最佳实践

对于使用 Pegasus 跨集群复制的用户，建议：

1. 在执行复制前，确保目标集群环境正常且可访问
2. 如果指定目标应用名称，确保该名称在目标集群上是唯一的
3. 监控复制任务状态，如发现长时间停留在 DS_APP 状态，应及时检查系统日志
4. 使用最新版本的 Pegasus，以获得最稳定的复制功能

总结

跨集群数据复制是分布式系统的重要功能，Pegasus 通过不断优化和改进，确保了数据复制的可靠性和稳定性。理解各种复制状态的含义有助于及时发现和解决问题，保证数据同步的正常进行。