pgBackRest多仓库备份策略：从备库备份到GCS仓库的实践指南

背景介绍

pgBackRest作为PostgreSQL的高性能备份工具，支持多种备份仓库类型和灵活的备份策略。在实际生产环境中，混合云架构下的备份方案设计尤为重要。本文将深入探讨如何在备库实例上直接备份到Google Cloud Storage(GCS)仓库的技术实现。

典型架构场景

考虑以下混合云架构：

• 主库(pg1-host)和POSIX仓库(repo1-host)位于本地数据中心
• 备库(pg2-host)部署在Google Cloud
• GCS存储桶配置为第二个仓库(repo2)

这种架构下，从备库直接备份到GCS仓库可以避免跨WAN传输备份数据，显著降低网络带宽消耗。

配置挑战与解决方案

初始配置问题

当尝试从备库(pg2-host)直接备份到GCS仓库(repo2)时，会遇到以下错误：

ERROR: [027]: pg and repo hosts cannot both be configured as remote

这是因为pgBackRest不允许同时配置远程PostgreSQL主机和远程仓库主机。

临时解决方案

使用--reset-repo1-host参数可以临时解决此问题：

pgbackrest --stanza multidemo --backup-standby --repo 2 --log-level-console detail --type full --reset-repo1-host backup

这个参数会忽略repo1的远程主机配置，允许备份操作继续进行。

推荐的配置优化

更优雅的解决方案是调整备库上的pgBackRest配置，避免同时定义两个远程主机：

[prod_cdc_multidemo]
pg1-path=/var/lib/pgsql/16/data  # 本地备库路径
pg1-port=5434
pg2-host=172.11.12.200           # 远程主库
pg2-path=/var/lib/pgsql/16/data
pg2-port=5434

这种配置方式明确指定了：

• pg1为本地实例路径
• pg2为远程主库地址

备份策略实践

从备库备份到GCS

配置优化后，从备库到GCS的备份流程如下：

1. 备库连接主库发起备份
2. 备库从本地读取数据文件
3. 直接写入GCS仓库
4. 避免数据通过WAN传输

多仓库管理技巧

对于需要同时维护POSIX和GCS仓库的场景：

1. 将仓库配置分离到不同文件(conf.d目录)
2. 需要时动态启用/禁用特定仓库配置
3. 设置合理的保留策略

注意事项

1. WAL归档检查：当从主库使用--backup-standby选项备份到GCS时，确保WAL文件已归档到所有配置的仓库

2. 保留策略警告：如果配置了仓库但未设置保留策略，会收到警告信息。建议为所有仓库明确设置保留策略。

3. 故障处理：当某个仓库不可达时，可以临时注释掉相关配置或移动配置文件，而无需重启PostgreSQL实例。

最佳实践建议

1. 在混合云环境中，优先考虑从备库直接备份到云存储，减少跨区域数据传输。

2. 保持配置简洁明了，避免过度复杂的多主机定义。

3. 定期测试从各个仓库恢复数据的能力，确保备份有效性。

4. 监控备份作业和仓库状态，及时发现并解决问题。

通过合理配置pgBackRest的多仓库备份策略，可以有效优化混合云环境下的PostgreSQL备份方案，在保证数据安全的同时提高备份效率。