Apache Doris 数据备份与恢复：CREATE REPOSITORY 详解

概述

在 Apache Doris 分布式数据库系统中，CREATE REPOSITORY 是一个关键的数据管理命令，用于创建存储备份数据的仓库。本文将深入解析该命令的使用方法、参数配置以及实际应用场景。

核心概念

**仓库（Repository）**是 Apache Doris 中用于存储备份数据的逻辑容器，支持多种存储后端，包括：

1. S3 兼容存储（如 AWS S3、MinIO、腾讯云 COS 等）
2. HDFS 分布式文件系统

仓库分为两种类型：

• 普通仓库：支持备份和恢复操作
• 只读仓库：仅支持恢复操作

命令语法

CREATE [READ ONLY] REPOSITORY <repo_name>
    WITH [ S3 | HDFS ]
    ON LOCATION <repo_location>
    PROPERTIES (
        <storage_property>
        [ , ... ]
    )

参数详解

必需参数

1. repo_name：仓库名称，必须唯一
2. repo_location：仓库存储路径
   • S3：格式为 s3://bucket_name
   • HDFS：格式为 hdfs://namenode:port/path

存储类型相关参数

S3 存储参数

参数名	说明	示例值
s3.endpoint	S3服务端点	http://s3.amazonaws.com
s3.access_key	访问密钥	AKIAIOSFODNN7EXAMPLE
s3.secret_key	密钥	wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY
s3.region	区域	us-west-1
use_path_style	是否使用路径风格访问（适用于MinIO）	true 或 false

HDFS 存储参数

参数名	说明	示例值
fs.defaultFS	Hadoop默认文件系统URI	hdfs://namenode:8020
hadoop.username	Hadoop用户名	hadoop_user

权限要求

创建仓库需要 ADMIN_PRIV 权限，通常只有 root 或 superuser 用户才能执行此操作。

使用场景与最佳实践

1. 数据备份与恢复

仓库是执行 Doris 数据备份和恢复操作的基础设施。创建仓库后，可以使用 BACKUP 和 RESTORE 命令进行数据管理。

2. 数据迁移

在集群间迁移数据时，需要在源集群和目标集群创建相同的仓库配置，这样目标集群才能访问源集群的备份快照。

3. 多存储后端支持

根据实际环境选择合适的存储后端：

• S3：适合云环境，提供高可用性和可扩展性
• HDFS：适合已有 Hadoop 生态的环境

实际示例

创建 AWS S3 仓库

CREATE REPOSITORY `aws_backup`
WITH S3
ON LOCATION "s3://doris-backup-bucket"
PROPERTIES
(
    "s3.endpoint" = "http://s3.us-west-1.amazonaws.com",
    "s3.region" = "us-west-1",
    "s3.access_key" = "YOUR_ACCESS_KEY",
    "s3.secret_key" = "YOUR_SECRET_KEY"
);

创建 HDFS 仓库

CREATE REPOSITORY `hdfs_backup`
WITH hdfs
ON LOCATION "hdfs://namenode:8020/doris/backups"
PROPERTIES
(
    "fs.defaultFS" = "hdfs://namenode:8020",
    "hadoop.username" = "doris_admin"
);

创建 MinIO 仓库

CREATE REPOSITORY `minio_backup`
WITH S3
ON LOCATION "s3://minio-bucket"
PROPERTIES
(
    "s3.endpoint" = "http://minio.example.com",
    "s3.access_key" = "MINIO_ACCESS_KEY",
    "s3.secret_key" = "MINIO_SECRET_KEY",
    "use_path_style" = "true"
);

创建腾讯云 COS 仓库

CREATE REPOSITORY `cos_backup`
WITH S3
ON LOCATION "s3://doris-backup"
PROPERTIES
(
    "s3.endpoint" = "http://cos.ap-guangzhou.myqcloud.com",
    "s3.access_key" = "COS_ACCESS_KEY",
    "s3.secret_key" = "COS_SECRET_KEY",
    "s3.region" = "ap-guangzhou"
);

注意事项

1. 安全性：妥善保管访问密钥等敏感信息
2. 网络连通性：确保 Doris 集群能够访问指定的存储后端
3. 权限配置：存储后端需要配置正确的读写权限
4. 存储容量：确保有足够的存储空间用于备份

管理仓库

创建仓库后，可以使用以下命令进行管理：

• SHOW REPOSITORIES：查看所有仓库
• DROP REPOSITORY：删除仓库

总结

CREATE REPOSITORY 命令是 Apache Doris 数据保护策略的基础，合理配置仓库可以确保数据安全性和业务连续性。根据实际环境选择合适的存储后端，并遵循最佳实践进行配置，可以构建高效可靠的数据备份恢复体系。