Pegasus项目中副本服务器重启导致断言失败问题分析

问题背景

在分布式存储系统Pegasus中，数据复制(duplication)是一个重要功能，它允许将数据从一个集群复制到另一个集群。然而，在特定场景下，当副本服务器在复制准备阶段被重启时，系统会出现断言失败导致进程异常退出的问题。

问题现象

当配置两个Pegasus集群进行数据复制时，如果源集群(无认证)向目标集群(有认证)发起全量复制，复制过程会在准备阶段(DS_PREPARE)被阻塞。此时如果源集群的唯一副本服务器被重启，服务器会因断言检查失败而崩溃退出。

错误日志显示，系统在尝试触发手动紧急检查点时，断言min_checkpoint_decree > 0失败，因为min_checkpoint_decree被重置为无效值-1。

技术原理分析

在Pegasus中，数据复制分为多个阶段：

1. 准备阶段(DS_PREPARE)：系统准备复制所需资源，包括在目标集群创建表、生成检查点等
2. 日志复制阶段(DS_LOG)：开始复制操作日志
3. 检查点复制阶段(DS_APP)：复制检查点数据

问题的核心在于，当复制处于准备阶段时，系统需要生成新的检查点。服务器重启后，复制状态会从持久化存储中恢复，但min_checkpoint_decree这个关键参数却被错误地重置为初始值-1，而不是保留原有的有效值。

解决方案

修复方案需要确保在以下情况下正确处理检查点参数：

1. 当复制处于准备阶段时，应保留或正确初始化min_checkpoint_decree值
2. 服务器重启后，对于处于准备阶段的复制任务，应当能够继续检查点生成过程
3. 参数初始化逻辑应考虑复制状态机的当前状态

正确的实现应该区分首次创建复制和恢复已有复制的场景，在恢复场景下保持必要的状态参数不变。

影响与启示

这个问题揭示了分布式系统中状态恢复机制的重要性：

1. 状态机设计需要考虑所有可能的中间状态
2. 持久化恢复逻辑必须与运行时状态转换逻辑保持一致
3. 断言检查应考虑系统恢复场景

对于Pegasus用户来说，这个修复确保了在复制过程中服务器重启的可靠性，提高了系统的健壮性。对于开发者而言，这个案例提醒我们在设计状态机时要充分考虑各种边界条件和恢复场景。