Apache Doris 数据副本管理与平衡机制深度解析

引言

在分布式数据库系统中，数据副本管理是确保数据高可用性和系统稳定性的核心机制。Apache Doris 作为一款高性能的MPP分析型数据库，其数据副本管理机制经过精心设计，能够自动处理副本修复、平衡等复杂场景。本文将深入剖析Doris的副本管理架构、工作原理以及运维实践。

核心概念解析

基本术语

1. Tablet（数据分片）：Doris表的逻辑分片单位，每个表会被水平划分为多个Tablet
2. Replica（副本）：Tablet的物理拷贝，默认配置为3副本
3. 健康副本：满足以下条件的副本：
   • 所在Backend节点存活
   • 数据版本完整
   • 未被标记为损坏

核心组件

1. Tablet Checker (TC)：

   • 常驻后台线程
   • 定期扫描所有Tablet状态
   • 将需要修复的Tablet提交给Tablet Scheduler

2. Tablet Scheduler (TS)：

   • 常驻后台线程
   • 处理TC提交的修复任务
   • 执行集群副本平衡

3. Tablet SchedCtx (TSC)：

   • Tablet的任务封装对象
   • 包含调度所需的上下文信息

副本状态体系

副本健康状态

状态	描述
BAD	副本损坏（磁盘故障或软件BUG导致）
VERSION_MISSING	数据版本不完整（导入异常导致）
HEALTHY	健康副本

Tablet健康状态

状态	触发条件	修复策略
REPLICA_MISSING	存活副本数 < 预期副本数	选择健康副本作为源，克隆到新节点
VERSION_INCOMPLETE	存活副本≥预期但健康副本<预期	补全缺失版本
REPLICA_RELOCATING	副本所在BE节点下线中	重新分配副本
REDUNDANT	健康副本数 > 预期副本数	删除冗余副本
FORCE_REDUNDANT	特殊冗余状态（需先删除才能创建）	先删除再创建
COLOCATE_MISMATCH	Colocation表副本分布不符	按Colocation Group规范调整
HEALTHY	满足所有健康条件	无需处理

副本修复机制

修复流程

1. 问题检测：TC定期扫描（默认5分钟）发现异常Tablet
2. 任务生成：将异常Tablet封装为TSC提交给TS
3. 任务调度：TS根据优先级调度克隆任务
4. 执行修复：BE节点执行实际的克隆操作

修复策略对比

问题类型	源选择	目标选择	操作类型
副本缺失	健康副本	低负载BE节点	全量克隆
版本缺失	完整副本	缺失版本副本	增量补全
冗余副本	无	冗余副本所在节点	删除操作

调度优先级管理

优先级等级

1. VERY_HIGH：

   • 冗余副本（REDUNDANT/FORCE_REDUNDANT）
   • 手动指定的紧急修复任务

2. HIGH：

   • 多数副本缺失的严重问题
   • Colocation表相关问题

3. NORMAL：

   • 少数副本缺失的一般问题
   • 副本迁移任务

4. LOW：

   • 跨集群副本问题
   • 低优先级迁移

动态优先级调整

• 降级规则：连续5次调度失败自动降级
• 升级规则：30分钟未调度自动升级
• 调整间隔：同一Tablet优先级调整至少间隔5分钟

手动优先级控制

-- 设置表级紧急修复
ADMIN REPAIR TABLE tbl [PARTITION (p1, p2)];

-- 取消紧急修复
ADMIN CANCEL REPAIR TABLE tbl [PARTITION (p1, p2)];

注意：手动优先级在FE重启后会失效

副本平衡机制

平衡策略对比

策略类型	考虑因素	适用场景	特点
BeLoad	磁盘利用率+副本数	常规场景	保证磁盘均衡
Partition	分片副本分布	热点优化	避免查询热点

BeLoad策略详解

1. 负载评分公式：

   Score = capacityCoefficient * 磁盘利用率 + replicaNumCoefficient * 副本数
   

2. 动态权重调整：

   • 磁盘利用率<50%：capacityCoefficient=0.5
   • 利用率>75%：capacityCoefficient=1.0
   • 中间值线性过渡

3. 调度过程：

   • 从高负载BE选择副本
   • 迁移到低负载BE
   • 确保同主机不部署相同副本

Partition策略特点

• 核心目标：最小化分片倾斜度
• 算法特点：二维贪心算法（集群+分片维度）
• 优势：减少热点分片，提升并行查询效率
• 风险：可能加剧磁盘使用不均衡

资源控制机制

任务槽位管理

资源类型	默认槽位数	配置参数
HDD修复槽位	2/磁盘	schedule_slot_num_per_hdd_path
SSD修复槽位	2/磁盘	schedule_slot_num_per_ssd_path
平衡槽位	2/磁盘	独立配置

每个克隆任务会占用源端和目标端各一个槽位

运维监控指南

集群健康状态查看

SHOW PROC '/cluster_health/tablet_health';

示例输出：

+-------+-----------------------------+-----------+------------+-------------------+----------------------+
| DbId  | DbName                      | TabletNum | HealthyNum | ReplicaMissingNum | VersionIncompleteNum |
+-------+-----------------------------+-----------+------------+-------------------+----------------------+
| 10005 | default_cluster:example_db  | 84        | 84         | 0                 | 0                    |
| 13402 | default_cluster:business_db | 709       | 708        | 1                 | 0                    |
+-------+-----------------------------+-----------+------------+-------------------+----------------------+

关键监控指标

1. UnhealthyTabletNum：不健康Tablet总数
2. ScheduledTabletNum：正在调度的Tablet数
3. CloneTaskNum：运行中的克隆任务数
4. BalanceTaskNum：平衡任务数

最佳实践建议

1. 紧急故障处理：

   • 对关键业务表使用ADMIN REPAIR命令
   • 监控REDUNDANT状态及时释放资源

2. 平衡策略选择：

   • 常规场景使用BeLoad策略
   • 热点查询场景可试用Partition策略

3. 参数调优建议：

   • 高并发环境增加slot数量
   • SSD磁盘可适当提高并发度

4. 日常监控重点：

   • 关注VERSION_INCOMPLETE持续增长
   • 监控FORCE_REDUNDANT特殊状态

总结

Apache Doris的副本管理系统通过TC/TS双线程协作，实现了智能化的副本修复与平衡。其特点包括：

1. 多维度状态检测：7种Tablet状态精确诊断
2. 动态优先级调度：确保关键问题优先处理
3. 双重平衡策略：满足不同场景需求
4. 精细化资源控制：避免IO过载

理解这套机制的原理和运维方法，能够帮助管理员更好地维护Doris集群的数据安全性和服务可用性。