TiDB Binlog 安装与使用教程

1. 项目目录结构及介绍

在解压或克隆 tidb-binlog 仓库后，你将看到一个基本的项目目录结构：

tidb-binlog/
├── bin/           # 存放编译后的可执行文件
├── conf/          # 配置文件模板
├── docs/          # 文档资料
├── scripts/       # 脚本文件，用于构建和部署
└── src/            # 源代码
   ├── pump        # 数据收集器（Pump）
   ├── drainer     # 数据同步器（Drainer）
   └── ...          # 其他组件和服务

bin 目录包含了编译后的二进制文件，如 pump 和 drainer。 conf 提供了示例配置文件，可以根据这些模板进行修改以适应你的环境。 docs 包含项目文档，可以查阅相关指南和说明。 scripts 是一系列辅助脚本，例如编译和部署操作。 src 源码目录，包含项目的主要源代码。

2. 项目启动文件介绍

2.1 Pump 启动

Pump 是 TiDB Binlog 的数据收集服务，它从 TiDB 实例中接收 binlogs 并存储到本地或者通过网络发送到其他节点。你可以使用以下命令启动 Pump：

./bin/pump -c ./conf/pump.toml

这里的 pump.toml 是配置文件，你需要修改其中的参数来指向正确的 TiDB 服务器以及设置日志和存储路径等。

2.2 Drainer 启动

Drainer 是负责同步数据的服务，将接收到的 binlogs 处理并写入下游系统（如 MySQL 或其他 TiDB 集群）。启动 Drainer 的命令如下：

./bin/drainer -c ./conf/drainer.toml

同样，你需要根据实际情况修改 drainer.toml 中的配置，包括连接 TiDB/Pump 的地址、目标数据库的连接信息等。

3. 项目的配置文件介绍

3.1 pump.toml

Pump 的配置文件通常包含以下主要部分：

• [server]: 设置服务监听的地址和端口。
• [pd]: 配置 PD（Placement Driver）服务器的地址列表，用于获取集群状态信息。
• [cluster-id]: 集群唯一标识符。
• [local-storage]: 设置本地存储路径。
• [client]: 配置 TiDB 服务器的连接信息。

3.2 drainer.toml

Drainer 的配置文件包含如下关键部分：

• [output]: 定义数据输出的目标，可以是 MySQL、TiDB 或其他支持的数据存储。
• [syncer]: 配置同步器的参数，包括错误重试策略、DDL 处理方式等。
• [pd]: PD 服务器的配置，类似于 Pump 的配置。
• [filter]: 可选地过滤特定表的 binlogs 不进行同步。

每个配置项的具体含义和如何调整，请参考项目文档或 *.toml 文件内的注释。

注意事项

在实际部署前，请确保所有相关的依赖服务（如 TiDB、PD 等）都已正确运行，并且根据你的集群规模和需求调整配置。同时，务必备份现有数据，以防意外数据丢失。在生产环境中，还建议对配置进行详细的验证和测试。