使用pgq/skytools-legacy实现多分区表合并复制指南

概述

在分布式数据库系统中，数据通常会被分区存储以提高性能。但在数据分析场景下，我们往往需要将所有分区的数据合并到一个完整的表中。pgq/skytools-legacy项目中的Londiste3工具提供了一种高效的解决方案，能够将多个分区数据库中的相同表结构数据合并复制到一个目标数据库中。

应用场景

这种合并复制方案特别适用于以下场景：

1. 使用PL/Proxy等分区方案进行OLTP(在线事务处理)
2. 需要将分区数据合并用于数据仓库分析
3. 需要集中式报表生成
4. 跨分区数据聚合分析

环境准备

本教程将演示最简单的双分区合并复制场景：

• 两个分区数据库：part1和part2
• 一个完整数据库：full1

配置步骤

1. 配置分区数据库节点

首先需要在每个分区数据库上设置Londiste3的根节点(root node)。

part1数据库配置

创建配置文件conf/l3_part1_q_part1.ini：

[londiste3]
job_name = l3_part1_q_part1
db = dbname=part1
queue_name = l3_part1_q
logfile = log/%(job_name)s.log
pidfile = pid/%(job_name)s.pid

part2数据库配置

创建配置文件conf/l3_part2_q_part2.ini：

[londiste3]
job_name = l3_part2_q_part2
db = dbname=part2
queue_name = l3_part2_q
logfile = log/%(job_name)s.log
pidfile = pid/%(job_name)s.pid

创建根节点

执行以下命令创建根节点：

londiste3 -v conf/l3_part1_q_part1.ini create-root part1_root dbname=part1
londiste3 -v conf/l3_part2_q_part2.ini create-root part2_root dbname=part2

2. 配置完整数据库节点

在完整数据库上需要为每个分区设置一个接收节点(leaf node)。

接收节点配置

创建两个配置文件：

conf/l3_part1_q_full1.ini：

[londiste3]
job_name = l3_part1_q_full1
db = dbname=full1
queue_name = l3_part1_q
logfile = log/%(job_name)s.log
pidfile = pid/%(job_name)s.pid

conf/l3_part2_q_full1.ini：

[londiste3]
job_name = l3_part2_q_full1
db = dbname=full1
queue_name = l3_part2_q
logfile = log/%(job_name)s.log
pidfile = pid/%(job_name)s.pid

创建接收节点

执行以下命令创建接收节点：

londiste3 -v conf/l3_part1_q_full1.ini create-leaf merge_part1_full1 dbname=full1 --provider=dbname=part1
londiste3 -v conf/l3_part2_q_full1.ini create-leaf merge_part2_full1 dbname=full1 --provider=dbname=part2

3. 启动消息队列服务

在开始复制前，需要启动PGQ消息队列服务。

创建配置文件conf/pgqd.ini：

[pgqd]
database_list = part1,part2,full1
logfile = log/pgqd.log
pidfile = pid/pgqd.pid

启动服务：

pgqd -v -d conf/pgqd.ini

4. 启动复制工作进程

启动两个复制工作进程：

londiste3 -v -d conf/l3_part1_q_full1.ini worker
londiste3 -v -d conf/l3_part2_q_full1.ini worker

设置复制表

1. 创建测试表

在分区数据库上创建测试表：

psql -d "part1" -c "create table mydata (id int4 primary key, data text)"
psql -d "part2" -c "create table mydata (id int4 primary key, data text)"

2. 添加表到复制队列

将表添加到根节点的复制队列：

londiste3 -v conf/l3_part1_q_part1.ini add-table mydata
londiste3 -v conf/l3_part2_q_part2.ini add-table mydata

3. 插入测试数据

向分区表插入初始数据：

psql -d "part1" -c "insert into mydata values (1, 'part1')"
psql -d "part2" -c "insert into mydata values (2, 'part2')"

4. 在完整数据库上订阅表

使用以下命令在完整数据库上创建并订阅表：

londiste3 -v conf/l3_part1_q_full1.ini add-table mydata --create --merge-all

参数说明：

• --create：在目标数据库上创建表
• --merge-all：从所有包含此表的队列中合并数据

5. 验证数据复制

插入更多测试数据：

psql -d "part1" -c "insert into mydata values (4 + 1, 'part1')"
psql -d "part2" -c "insert into mydata values (4 + 2, 'part2')"

等待几秒后检查完整数据库：

psql -d "full1" -c "select * from mydata order by id"

预期结果应包含来自两个分区的所有数据。

系统状态检查

1. 检查表信息

查看完整数据库上的表订阅状态：

psql -d "full1" -c "select * from londiste.table_info order by queue_name"

merge_state为'ok'表示初始复制过程已成功完成。

注意事项

1. 主键冲突：确保各分区表中的主键不会冲突，否则合并复制会失败
2. 性能考虑：大量数据复制可能影响生产数据库性能，建议在低峰期执行
3. 网络稳定性：确保各数据库节点间网络连接稳定
4. 监控：建议设置监控机制跟踪复制延迟

总结

通过本教程，我们成功配置了从两个分区数据库到一个完整数据库的合并复制方案。这种架构既保持了OLTP场景下的分区性能优势，又满足了数据仓库分析的全量数据需求。pgq/skytools-legacy提供的Londiste3工具简化了这一复杂过程的实现。