repmgr 5.5 在PostgreSQL 16.4中执行Switchover故障分析与解决方案

故障现象描述

在使用repmgr 5.5管理PostgreSQL 16.4高可用集群时，执行主备切换(switchover)操作出现异常。具体表现为：

1. 备节点(pg02)能够成功提升(PROMOTE)为主节点
2. 但原主节点(pg01)未能按预期自动重启为备节点
3. 检查原主节点数据目录，未生成关键的standby.signal文件
4. 日志显示原主节点正常关闭但未重新启动

故障排查过程

通过分析日志和配置文件，发现以下关键点：

1. 主节点关闭过程正常：

   • 日志显示主节点执行了检查点(checkpoint)
   • 收到快速关闭请求(fast shutdown request)
   • 所有连接被终止
   • 数据库系统完全关闭

2. repmgr重连机制失效：

   • repmgr尝试6次重连原主节点均失败
   • 错误显示"Connection refused"
   • 最终进入降级监控状态

3. 关键文件缺失：

   • 原主节点数据目录缺少standby.signal文件
   • 这是PostgreSQL识别节点为备库的关键标识

根本原因分析

深入调查后发现核心问题在于认证方式配置不当：

1. pg_hba.conf中配置了scram-sha-256认证方式
2. repmgr在尝试重新启动原主节点时无法通过认证
3. 导致自动启动流程中断
4. 进而无法完成完整的switchover过程

解决方案与优化建议

即时解决方案

修改pg_hba.conf，将对repmgr用户的认证方式改为trust：

host    repmgr          repmgr          192.168.85.0/24       trust

推荐的安全方案

1. 使用密码文件：

   • 在PostgreSQL用户家目录创建密码文件
   • 格式：hostname:port:database:username:password
   • 设置适当权限(chmod 600)

2. 配置说明：

echo "pg01:5432:repmgr:repmgr:repmgr11" > ~/.password_file
chmod 600 ~/.password_file

其他配置建议

1. 确保service_start_command有足够权限
2. 测试脚本能否以repmgr用户身份执行
3. 检查SSH互信配置是否正常
4. 验证sudo权限配置

技术原理深入

repmgr的switchover过程实际上包含几个关键阶段：

1. 主节点准备阶段：

   • 执行检查点确保数据一致性
   • 干净关闭主节点

2. 备节点提升阶段：

   • 备节点执行promote操作
   • 生成promote信号文件
   • 开始接受写操作

3. 原主节点转换阶段：

   • 修改配置为备库模式
   • 生成standby.signal文件
   • 以备库身份重新启动

本案例中故障发生在第三阶段，由于认证问题导致流程中断。理解这一过程有助于快速定位类似问题。

最佳实践建议

1. 测试环境充分验证switchover流程
2. 实施监控告警机制
3. 定期进行故障转移演练
4. 文档化所有配置变更
5. 考虑使用配置管理工具统一管理

通过以上分析和解决方案，用户应该能够解决repmgr在PostgreSQL 16.4环境下执行switchover时遇到的问题，同时保证系统的安全性和可靠性。