StorageTapper 使用教程

项目介绍

StorageTapper 是一个可扩展的实时 MySQL 变更数据流逻辑备份和逻辑复制服务。它被部署在 Uber 的生产环境中，用于生成数千个 MySQL 表的快照和实时变更数据，跨越多个数据中心。此外，它还用作备份服务，将数百 TB 的 Schemaless 数据快照到 HDFS 和 S3，支持可选的非对称加密和压缩。StorageTapper 从源读取数据，根据指定的事件格式进行转换，并将数据输出到目标。

支持的事件源

• MySQL
• Schemaless

支持的事件目标

• Kafka
• HDFS
• S3
• 本地文件
• MySQL（实验性）

支持的事件格式

• Avro
• JSON
• MsgPack
• SQL

功能特性

• 字段过滤
• 快照行过滤
• 仅生成实时变更
• 快照和变更日志事件排序
• 周期性快照
• 快照索引提示

项目快速启动

安装依赖

首先，确保你已经安装了必要的依赖，包括 MySQL、Kafka、HDFS 和 S3。

cd storagetapper
make && make install

配置文件

StorageTapper 从以下文件和位置加载配置，按给定顺序：

• /etc/storagetapper/base.yaml
• /etc/storagetapper/production.yaml
• $(HOME)/base.yaml
• $(HOME)/production.yaml
• $(STORAGETAPPER_CONFIG_DIR)/base.yaml
• $(STORAGETAPPER_CONFIG_DIR)/production.yaml

运行测试

运行所有测试：

make test

启动服务

启动 StorageTapper 服务：

/bin/bash scripts/run_tests.sh

应用案例和最佳实践

生产环境部署

StorageTapper 在 Uber 的生产环境中被用于处理数千个 MySQL 表的快照和实时变更数据。它通过自动分配任务和感知节点角色，从从节点获取快照以减少主节点的负载。

数据备份

StorageTapper 用作备份服务，将 Schemaless 数据快照到 HDFS 和 S3，支持可选的非对称加密和压缩。

实时数据流

通过 Kafka 和 HDFS，StorageTapper 能够实时流式传输变更数据，适用于需要实时数据处理的场景。

典型生态项目

MySQL

StorageTapper 与 MySQL 紧密集成，支持从 MySQL 读取数据并进行逻辑备份和复制。

Kafka

作为支持的事件目标之一，Kafka 与 StorageTapper 结合，用于实时数据流的传输和处理。

HDFS

HDFS 作为存储目标，与 StorageTapper 结合，用于大规模数据的备份和存储。

S3

S3 作为云存储目标，与 StorageTapper 结合，提供高可用性和可扩展性的数据存储解决方案。

通过以上模块的介绍和实践，您可以快速上手并深入了解 StorageTapper 的使用和配置。希望本教程对您有所帮助！