PGSync安装与配置完全指南

项目基础介绍及编程语言

PGSync是一个强大的中间件工具，专门用于实现PostgreSQL数据库与Elasticsearch或OpenSearch之间的数据同步。这个开源项目由Python 3.8及其以上版本驱动，旨在无缝地将数据从结构化的Postgres存储迁移到更适于搜索的NoSQL环境中，无需复杂的ETL流程或手动的双写处理。它利用PostgreSQL的逻辑解码功能来实时捕获并同步变更事件。

关键技术和框架

核心技术栈：

• Python: 后端处理逻辑的核心语言。
• Redis: 作为消息队列，协助异步处理事件。
• Elasticsearch/OpenSearch: 目标搜索引擎，支持高效全文检索。
• PostgreSQL: 数据源数据库，支持版本9.6及以上。
• SQLAlchemy: 提供数据库访问的ORM工具，简化数据库操作。

主要特性：

• 实时同步：自动捕捉增删改查操作。
• 高度自定义文档结构。
• 支持关系型数据的非规范化。
• 无需修改现有数据库结构。

安装与配置步骤

准备工作

1. 环境检查： 确保系统已安装Python 3.8或更高版本。 安装pip，Python的包管理器。 配置好PostgreSQL，版本需在9.6及以上，并设置wal_level为logical，允许逻辑解码。 准备Redis服务器。 确认Elasticsearch或OpenSearch已部署，至少6.3.1+版本或OpenSearch 1.3.7+。

2. 获取代码： 使用Git克隆项目到本地:

   git clone https://github.com/toluaina/pgsync.git
   

详细安装步骤

使用Docker（简易方法）

1. 启动服务： 在项目根目录下运行Docker Compose以一键部署所有依赖项和服务：

   docker-compose up
   

2. 验证安装： 数据同步初始化后，通过以下命令检查Elasticsearch/OpenSearch中的数据：

   curl -X GET "http://[Elasticsearch/OpenSearch Host]:9201/[Index Name]/_search?pretty=true"
   

手动安装与配置

1. 全局安装PGSync： 使用pip安装PGSync库：

   pip install pgsync
   

2. 创建文档模式： 编写一个schem.json文件来描述你想同步的数据结构。

3. 数据库准备：

   • 给数据库用户超级权限。
   • 开启PostgreSQL的逻辑复制设置。
   • 创建必要的复制槽。

4. 初始化数据库： 运行以下命令来启动PGSync并初次同步数据：

   pgsync --bootstrap --config schem.json
   

5. 持续同步： 启动服务保持数据的持续同步，可后台运行：

   pgsync --config schem.json -d
   

至此，您已经成功安装并配置了PGSync，实现了PostgreSQL与Elasticsearch或OpenSearch之间数据的实时同步。记得调整配置以适应您的实际数据库架构和目标索引需求。