StarRocks 副本管理完全指南:多副本写入、自动修复与共享数据集群恢复
StarRocks 副本管理完全指南:多副本写入、自动修复与共享数据集群恢复
数据副本是 StarRocks 保证高可用与数据安全的核心机制。本指南以 StarRocks 的副本管理为主题,覆盖 Shared-nothing 集群中原生表的多副本写入、Write Quorum 调优、副本自动/手动修复、副本平衡与资源控制,以及 Shared-data 集群中云原生表基于元数据版本回滚的低成本秒级恢复机制。读完本文,你将掌握副本的创建、监控、修复、平衡与故障恢复的完整运维技能。
一、Shared-nothing:多副本高可用架构
1.1 多副本策略概述
在 Shared-nothing 集群中,StarRocks 对原生表(native table)采用多副本策略来保证数据的高可用。创建表时,必须通过表属性 replication_num 指定副本数(默认值:3)。当加载事务开始时,数据会同时写入指定数量的副本中;只有数据已存储在大多数(majority)副本中,事务才会返回成功。不过,StarRocks 也允许你为表设置更低的写仲裁(write quorum)以换取更高的加载性能。
从源码看,replication_num 在 PropertyAnalyzer.java 中被定义为表属性 PROPERTIES_REPLICATION_NUM,并最终固化到 OlapTable.java 的 TableProperty 中;副本数与 BE 节点数强相关——如果你想为一个表保存 3 份副本,集群中至少要部署 3 个 BE 节点。
副本分布在不同 BE 节点上。如果某个副本发生故障,StarRocks 会从另一个 BE 节点的健康副本部分或全部克隆数据来修复故障副本。借助多版本并发控制(MVCC,Multi-Version Concurrency Control)技术,StarRocks 可以通过复制这些多版本数据的物理拷贝来加速副本修复。
1.2 数据加载到多副本表
一次加载事务的完整流程如下:
-
客户端向 FE 提交加载请求。
-
FE 选择一个 BE 节点作为本次加载事务的 Coordinator BE,并为其生成执行计划。
-
Coordinator BE 从客户端读取待加载的数据。
-
Coordinator BE 将数据分发到所有 tablet 的副本上。
说明
tablet 是表的逻辑切片。一张表包含多个 tablet,每个 tablet 拥有
replication_num个副本。表内 tablet 数量由表属性bucket_size决定。 -
数据加载并存储到所有 tablet 之后,FE 使已加载的数据可见。
-
FE 向客户端返回加载成功。
这种例行流程即使在极端场景下也能保证服务可用性。在 BE 侧,写入路径由 olap_table_sink.cpp 实现:根据分区类型(colocate / range / 普通)分别创建 TabletSinkColocateSender、RangeTabletSinkSender 或 TabletSinkSender,三者都接收 _write_quorum_type 与 _num_repicas 参数,最终由每个 tablet 对应的 channel 并行写入各副本。
1.3 Write Quorum:以可用性换性能
向多副本表加载数据可能非常耗时。如果希望提升加载性能、且能容忍相对更低的数据可用性,可以为表设置更低的写仲裁。写仲裁(write quorum) 指的是在一次写操作被视为成功之前,必须确认写入成功的副本最小数量。你可以在 CREATE TABLE 时通过属性 write_quorum 指定,也可以使用 ALTER TABLE 为已有表添加该属性。该属性自 v2.5 起支持。
write_quorum 支持以下取值:
| 取值 | 行为 |
|---|---|
MAJORITY |
默认值。当大多数数据副本返回加载成功后,StarRocks 返回加载任务成功;否则返回失败。 |
ONE |
当任意一个数据副本返回加载成功后,StarRocks 返回加载任务成功;否则返回失败。 |
ALL |
当所有数据副本都返回加载成功后,StarRocks 返回加载任务成功;否则返回失败。 |
该属性在 PropertyAnalyzer.java 中定义为 PROPERTIES_WRITE_QUORUM = "write_quorum"。BE 端在 olap_table_sink.h 中以 TWriteQuorumType::MAJORITY 作为默认值,并在 olap_table_sink.cpp 中从 thrift 请求解析 write_quorum_type 后传入各个发送器。ONE 与 ALL 的判定逻辑可直接在 olap_table_sink.h 的 _write_quorum_type 分支中看到,这意味着当主副本所在节点写入失败时,即使其他副本已成功,事务也可能因仲裁不满足而被判定失败。
1.4 自动副本修复
副本可能因为某些 BE 节点宕机或某些加载任务失败而损坏。StarRocks 会自动修复这些失败的副本。
Tablet Checker(FE 中的组件)每隔 tablet_sched_checker_interval_seconds(默认 20 秒,见 Config.java)扫描集群中所有表的所有 tablet 副本,并通过检查当前可见数据的版本号与 BE 节点的健康状态来判断副本是否健康。如果某个副本的可见版本落后于其他副本,StarRocks 执行**增量克隆(incremental clone)来修复故障副本;如果 BE 节点无法收到心跳、已被移出集群,或副本落后太多无法通过增量克隆修复,StarRocks 则执行全量克隆(full clone)**来修复丢失的副本。
检测到需要修复的 tablet 副本后,FE 会生成一个 tablet 调度任务并将其加入调度任务队列。FE 中的 Tablet Scheduler 从队列接收调度任务,根据每个故障副本所需的克隆类型创建克隆任务,并将任务分配给执行者 BE 节点。
一个克隆任务本质上是:从源 BE 节点(拥有健康副本)拷贝数据,并加载到目标 BE 节点(拥有故障副本)。对于数据版本落后的副本,FE 会为存储该故障副本的 BE 执行者分配增量克隆任务,并告知执行者 BE 从哪个 peer BE 节点寻找健康副本并克隆新数据。对于丢失的副本,FE 会选择一个存活的 BE 节点作为执行者 BE,在该 BE 上创建空副本并分配全量克隆任务。
对于每个克隆任务(无论类型如何),执行者 BE 都会从健康副本复制物理数据文件,然后更新自己的元数据。克隆任务完成后,执行者 BE 向 FE 中的 Tablet Scheduler 报告任务成功。FE 在移除冗余的 tablet 副本后更新元数据,标志着副本修复完成。
在 tablet 修复期间,StarRocks 仍然可以执行查询;只要健康副本数满足 write_quorum,StarRocks 就可以继续向表中加载数据。与之相关的克隆超时、调度延迟等行为可通过 Config.java 中的 tablet_sched_repair_delay_factor_second、tablet_sched_min_clone_task_timeout_sec、tablet_sched_max_clone_task_timeout_sec 等参数调节。
1.5 手动修复副本
手动修复副本包含两个步骤:检查副本状态 与 设置副本优先级。
1.5.1 检查副本状态
按以下步骤检查 tablet 的副本状态,识别不健康(故障)的 tablet。
步骤 1:检查集群中所有 tablet 的状态。
SHOW PROC '/statistic';
示例:
mysql> SHOW PROC '/statistic';
+----------+-----------------------------+----------+--------------+----------+-----------+------------+--------------------+-----------------------+
| DbId | DbName | TableNum | PartitionNum | IndexNum | TabletNum | ReplicaNum | UnhealthyTabletNum | InconsistentTabletNum |
+----------+-----------------------------+----------+--------------+----------+-----------+------------+--------------------+-----------------------+
| 35153636 | default_cluster:DF_Newrisk | 3 | 3 | 3 | 96 | 288 | 0 | 0 |
| 48297972 | default_cluster:PaperData | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 5909381 | default_cluster:UM_TEST | 7 | 7 | 10 | 320 | 960 | 1 | 0 |
| Total | 240 | 10 | 10 | 13 | 416 | 1248 | 1 | 0 |
+----------+-----------------------------+----------+--------------+----------+-----------+------------+--------------------+-----------------------+
UnhealthyTabletNum:对应数据库中不健康 tablet 的数量。InconsistentTabletNum:对应数据库中副本不一致的 tablet 数量。
如果某个数据库的 UnhealthyTabletNum 或 InconsistentTabletNum 不为 0,可以用该数据库的 DbId 查看库内的不健康 tablet:
SHOW PROC '/statistic/<DbId>'
示例:
mysql> SHOW PROC '/statistic/5909381';
+------------------+---------------------+
| UnhealthyTablets | InconsistentTablets |
+------------------+---------------------+
| [40467980] | [] |
+------------------+---------------------+
UnhealthyTablets 字段返回不健康 tablet 的 ID。
步骤 2:检查特定表或分区的 tablet 状态。
可以使用 ADMIN SHOW REPLICA STATUS 中的 WHERE 子句过滤具有特定 STATUS 的 tablet:
ADMIN SHOW REPLICA STATUS FROM <table_name>
[PARTITION (<partition_name_1>[, <partition_name_2>, ...])]
[WHERE STATUS = {'OK'|'DEAD'|'VERSION_ERROR'|'SCHEMA_ERROR'|'MISSING'}]
示例:
mysql> ADMIN SHOW REPLICA STATUS FROM tbl PARTITION (p1, p2) WHERE STATUS = "OK";
+----------+-----------+-----------+---------+-------------------+--------------------+------------------+------------+------------+-------+--------+--------+
| TabletId | ReplicaId | BackendId | Version | LastFailedVersion | LastSuccessVersion | CommittedVersion | SchemaHash | VersionNum | IsBad | State | Status |
+----------+-----------+-----------+---------+-------------------+--------------------+------------------+------------+------------+-------+--------+--------+
| 29502429 | 29502432 | 10006 | 2 | -1 | 2 | 1 | -1 | 2 | false | NORMAL | OK |
| 29502429 | 36885996 | 10002 | 2 | -1 | -1 | 1 | -1 | 2 | false | NORMAL | OK |
| 29502429 | 48100551 | 10007 | 2 | -1 | -1 | 1 | -1 | 2 | false | NORMAL | OK |
| 29502433 | 29502434 | 10001 | 2 | -1 | 2 | 1 | -1 | 2 | false | NORMAL | OK |
| 29502433 | 44900737 | 10004 | 2 | -1 | -1 | 1 | -1 | 2 | false | NORMAL | OK |
| 29502433 | 48369135 | 10006 | 2 | -1 | -1 | 1 | -1 | 2 | false | NORMAL | OK |
+----------+-----------+-----------+---------+-------------------+--------------------+------------------+------------+------------+-------+--------+--------+
如果字段 IsBad 为 true,说明该 tablet 已损坏。Status 字段的详细含义可参见 ADMIN SHOW REPLICA STATUS。
可以使用 SHOW TABLET 进一步探索表中 tablet 的详细信息:
SHOW TABLET FROM <table_name>
示例:
mysql> SHOW TABLET FROM tbl1;
+----------+-----------+-----------+------------+---------+-------------+-------------------+-----------------------+------------------+----------------------+---------------+----------+----------+--------+-------------------------+--------------+----------------------+--------------+----------------------+----------------------+----------------------+
| TabletId | ReplicaId | BackendId | SchemaHash | Version | VersionHash | LstSuccessVersion | LstSuccessVersionHash | LstFailedVersion | LstFailedVersionHash | LstFailedTime | DataSize | RowCount | State | LstConsistencyCheckTime | CheckVersion | CheckVersionHash | VersionCount | PathHash | MetaUrl | CompactionStatus |
+----------+-----------+-----------+------------+---------+-------------+-------------------+-----------------------+------------------+----------------------+---------------+----------+----------+--------+-------------------------+--------------+----------------------+--------------+----------------------+----------------------+----------------------+
| 29502429 | 29502432 | 10006 | 1421156361 | 2 | 0 | 2 | 0 | -1 | 0 | N/A | 784 | 0 | NORMAL | N/A | -1 | -1 | 2 | -5822326203532286804 | url | url |
| 29502429 | 36885996 | 10002 | 1421156361 | 2 | 0 | -1 | 0 | -1 | 0 | N/A | 784 | 0 | NORMAL | N/A | -1 | -1 | 2 | -1441285706148429853 | url | url |
| 29502429 | 48100551 | 10007 | 1421156361 | 2 | 0 | -1 | 0 | -1 | 0 | N/A | 784 | 0 | NORMAL | N/A | -1 | -1 | 2 | -4784691547051455525 | url | url |
+----------+-----------+-----------+------------+---------+-------------+-------------------+-----------------------+------------------+----------------------+---------------+----------+----------+--------+-------------------------+--------------+----------------------+--------------+----------------------+----------------------+----------------------+
返回结果展示了 tablet 的大小、行数、版本及 URL。State 字段表示 tablet 的任务状态,包括 CLONE、SCHEMA_CHANGE 和 ROLLUP。
你还可以使用 ADMIN SHOW REPLICA DISTRIBUTION 检查特定表或分区的副本分布是否均匀:
ADMIN SHOW REPLICA DISTRIBUTION FROM <table_name>
示例:
mysql> ADMIN SHOW REPLICA DISTRIBUTION FROM tbl1;
+-----------+------------+-------+---------+
| BackendId | ReplicaNum | Graph | Percent |
+-----------+------------+-------+---------+
| 10000 | 7 | | 7.29 % |
| 10001 | 9 | | 9.38 % |
| 10002 | 7 | | 7.29 % |
| 10003 | 7 | | 7.29 % |
| 10004 | 9 | | 9.38 % |
| 10005 | 11 | > | 11.46 % |
| 10006 | 18 | > | 18.75 % |
| 10007 | 15 | > | 15.62 % |
| 10008 | 13 | > | 13.54 % |
+-----------+------------+-------+---------+
返回结果展示了每个 BE 节点上的 tablet 副本数量及其占比。
步骤 3:检查特定 tablet 的副本状态。
使用前面步骤获得的 TabletId,可以检查这些不健康 tablet 的副本状态:
SHOW TABLET <TabletId>
示例:
mysql> SHOW TABLET 29502553;
+------------------------+-----------+---------------+-----------+----------+----------+-------------+----------+--------+---------------------------------------------------------------------------+
| DbName | TableName | PartitionName | IndexName | DbId | TableId | PartitionId | IndexId | IsSync | DetailCmd |
+------------------------+-----------+---------------+-----------+----------+----------+-------------+----------+--------+---------------------------------------------------------------------------+
| default_cluster:test | test | test | test | 29502391 | 29502428 | 29502427 | 29502428 | true | SHOW PROC '/dbs/29502391/29502428/partitions/29502427/29502428/29502553'; |
+------------------------+-----------+---------------+-----------+----------+----------+-------------+----------+--------+---------------------------------------------------------------------------+
返回结果展示了该 tablet 所属的数据库、表、分区和索引(Rollup)的详细信息。可以复制 DetailCmd 字段中的 SQL 语句,进一步查看该 tablet 的副本状态。
示例:
mysql> SHOW PROC '/dbs/29502391/29502428/partitions/29502427/29502428/29502553';
+-----------+-----------+---------+-------------+-------------------+-----------------------+------------------+----------------------+---------------+------------+----------+----------+--------+-------+--------------+----------------------+----------+------------------+
| ReplicaId | BackendId | Version | VersionHash | LstSuccessVersion | LstSuccessVersionHash | LstFailedVersion | LstFailedVersionHash | LstFailedTime | SchemaHash | DataSize | RowCount | State | IsBad | VersionCount | PathHash | MetaUrl | CompactionStatus |
+-----------+-----------+---------+-------------+-------------------+-----------------------+------------------+----------------------+---------------+------------+----------+----------+--------+-------+--------------+----------------------+----------+------------------+
| 43734060 | 10004 | 2 | 0 | -1 | 0 | -1 | 0 | N/A | -1 | 784 | 0 | NORMAL | false | 2 | -8566523878520798656 | url | url |
| 29502555 | 10002 | 2 | 0 | 2 | 0 | -1 | 0 | N/A | -1 | 784 | 0 | NORMAL | false | 2 | 1885826196444191611 | url | url |
| 39279319 | 10007 | 2 | 0 | -1 | 0 | -1 | 0 | N/A | -1 | 784 | 0 | NORMAL | false | 2 | 1656508631294397870 | url | url |
+-----------+-----------+---------+-------------+-------------------+-----------------------+------------------+----------------------+---------------+------------+----------+----------+--------+-------+--------------+----------------------+----------+------------------+
返回结果展示了该 tablet 的全部副本。
1.5.2 设置副本优先级
Tablet Scheduler 会自动为不同类型的克隆任务分配不同的优先级。
如果你希望某个表或某些分区中的 tablet 能最早得到修复,可以使用 ADMIN REPAIR TABLE 为它们手动分配 VERY_HIGH 优先级:
ADMIN REPAIR TABLE <table_name>
[PARTITION (<partition_name_1>[, <partition_name_2>, ...])]
注意
- 执行该 SQL 语句只是提交了一个修改待修复 tablet 优先级的提示,并不保证这些 tablet 一定能够被成功修复。
- 执行该语句后,Tablet Scheduler 仍可能为这些 tablet 分配不同的优先级。
- 当 Leader FE 节点发生变更或重启后,该语句提交的提示将失效。
可以使用 ADMIN CANCEL REPAIR TABLE 取消该操作:
ADMIN CANCEL REPAIR TABLE <table_name>
[PARTITION (<partition_name_1>[, <partition_name_2>, ...])]
1.6 副本平衡
StarRocks 会自动在 BE 节点之间平衡 tablet。
为了将 tablet 从高负载节点迁移到低负载节点,StarRocks 会先在低负载节点上创建该 tablet 的一个副本,然后删除高负载节点上的对应副本。如果集群中使用了不同类型的存储介质,StarRocks 会按照存储介质类型对所有 BE 节点进行分类,并尽可能在同一存储介质类型的 BE 节点之间迁移 tablet。同一个 tablet 的副本始终存储在不同的 BE 节点上。
1.6.1 BE 负载评估
StarRocks 使用 ClusterLoadStatistics(CLS)展示集群中每个 BE 节点的负载统计。Tablet Scheduler 基于 ClusterLoadStatistics 触发副本平衡。StarRocks 评估每个 BE 节点的磁盘利用率和副本数量,并据此计算 loadScore。BE 节点的 loadScore 越高,说明其负载越高。Tablet Scheduler 每一分钟更新一次 ClusterLoadStatistics。
capacityCoefficient 和 replicaNumCoefficient 分别是磁盘利用率和副本数量的加权系数,两者之和为 1。capacityCoefficient 会根据实际磁盘使用情况动态调整:
- 当 BE 节点整体磁盘利用率低于 50% 时,
capacityCoefficient取值为 0.5; - 当磁盘利用率高于 75% 时,取值为 1(可通过 FE 配置项
capacity_used_percent_high_water调整该上限,默认值为 0.75,见 Config.java); - 当利用率介于 50% 与 75% 之间时,
capacityCoefficient按下式平滑递增:
capacityCoefficient= 2 * Disk utilization - 0.5
capacityCoefficient 的作用是:当磁盘使用率过高时,该 BE 节点的 loadScore 会升高,迫使系统尽早降低该 BE 节点的负载。
在实现上,该计算位于 BackendLoadStatistic.java:capacityCoefficient 在 usedCapacityPercent < 0.5 时为 0.5,replicaNumCoefficient = 1 - capacityCoefficient,最终 score = capacityProportion * capacityCoefficient + replicaNumProportion * replicaNumCoefficient。
1.6.2 平衡策略
每次 Tablet Scheduler 调度 tablet 时,它都会通过 Load Balancer 选择一定数量的健康 tablet 作为待平衡的候选 tablet。下一次调度 tablet 时,Tablet Scheduler 会平衡这些健康 tablet。
1.6.3 查看系统平衡状态
可以查看系统当前的整体平衡状态以及不同平衡类型的详细信息。
查看系统当前的整体平衡状态:
SHOW PROC '/cluster_balance/balance_stat';
示例:
+---------------+--------------------------------+----------+----------------+----------------+
| StorageMedium | BalanceType | Balanced | PendingTablets | RunningTablets |
+---------------+--------------------------------+----------+----------------+----------------+
| HDD | inter-node disk usage | true | 0 | 0 |
| HDD | inter-node tablet distribution | true | 0 | 0 |
| HDD | intra-node disk usage | true | 0 | 0 |
| HDD | intra-node tablet distribution | true | 0 | 0 |
| HDD | colocation group | true | 0 | 0 |
| HDD | label-aware location | true | 0 | 0 |
+---------------+--------------------------------+----------+----------------+----------------+
StorageMedium:存储介质。BalanceType:平衡类型。Balanced:是否已达到平衡状态。PendingTablets:任务状态为 Pending 的 tablet 数量。RunningTablets:任务状态为 Running 的 tablet 数量。
查看各节点磁盘利用率的平衡情况:
SHOW PROC '/cluster_balance/cluster_load_stat';
示例:
+---------------+----------------------------------------------------------------------------------------------------------------------+
| StorageMedium | ClusterDiskBalanceStat |
+---------------+----------------------------------------------------------------------------------------------------------------------+
| HDD | {"balanced":false,"maxBeId":1,"minBeId":2,"maxUsedPercent":0.9,"minUsedPercent":0.1,"type":"INTER_NODE_DISK_USAGE"} |
| SSD | {"balanced":true} |
+---------------+----------------------------------------------------------------------------------------------------------------------+
StorageMedium:存储介质。ClusterDiskBalanceStat:基于磁盘使用率的跨节点平衡状态。若未平衡,则显示最大/最小磁盘利用率及对应的 BE。
查看节点内的磁盘用量平衡情况:
SHOW PROC '/cluster_balance/cluster_load_stat/HDD';
示例:
+-------+-----------------+-----------+--------------+--------------+-------------+------------+----------+-----------+-------+-------+---------------------------------------------------------------------------------------------------------------------------------------------+
| BeId | Cluster | Available | UsedCapacity | Capacity | UsedPercent | ReplicaNum | CapCoeff | ReplCoeff | Score | Class | BackendDiskBalanceStat |
+-------+-----------------+-----------+--------------+--------------+-------------+------------+----------+-----------+-------+-------+---------------------------------------------------------------------------------------------------------------------------------------------+
| 10004 | default_cluster | true | 651509602 | 243695955810 | 0.267 | 339 | 0.5 | 0.5 | 1.0 | MID | {"maxUsedPercent":0.9,"minUsedPercent":0.1,"beId":1,"maxPath":"/disk1","minPath":"/disk2","type":"INTRA_NODE_DISK_USAGE","balanced":false} |
| 10005 | default_cluster | true | 651509602 | 243695955810 | 0.267 | 339 | 0.5 | 0.5 | 1.0 | MID | {"balanced":true} |
+-------+-----------------+-----------+--------------+--------------+-------------+------------+----------+-----------+-------+-------+---------------------------------------------------------------------------------------------------------------------------------------------+
BeId:BE 节点 ID。BackendDiskBalanceStat:节点内各磁盘基于利用率的平衡状态。若未平衡,则显示最大/最小磁盘用量及对应的磁盘路径。
查看按 tablet 统计的平衡分布:
SHOW PROC '/dbs/ssb/lineorder/partitions/lineorder';
示例:
+---------+-----------+--------+--------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------+
| IndexId | IndexName | State | LastConsistencyCheckTime | TabletBalanceStat |
+---------+-----------+--------+--------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------+
| 11129 | lineorder | NORMAL | NULL | {"maxTabletNum":23,"minTabletNum":21,"maxBeId":10012,"minBeId":10013,"type":"INTER_NODE_TABLET_DISTRIBUTION","balanced":false} |
| 11230 | lineorder | NORMAL | NULL | {"maxTabletNum":23,"minTabletNum":21,"beId":10012,"maxPath":"/disk1","minPath":"/disk2","type":"INTRA_NODE_TABLET_DISTRIBUTION","balanced":false} |
| 10432 | lineorder | NORMAL | NULL | {"tabletId":10435,"currentBes":[10002,10004],"expectedBes":[10003,10004],"type":"COLOCATION_GROUP","balanced":false} |
| 10436 | lineorder | NORMAL | NULL | {"tabletId":10438,"currentBes":[10005,10006],"expectedLocations":{"rack":["rack1","rack2"]},"type":"LABEL_AWARE_LOCATION","balanced":false} |
+---------+-----------+--------+--------------------------+----------------------------------------------------------------------------------------------------------------------------------------------------+
IndexId:分区内物化索引(Materialized Index)的 ID。TabletBalanceStat:节点间或节点内 tablet 分布的平衡状态。若未平衡,则显示不平衡的详细信息,包括 Colocation Group、Label-aware Location 等。
查看 tablet 分布不平衡的分区:
SELECT DB_NAME, TABLE_NAME, PARTITION_NAME, TABLET_BALANCED FROM information_schema.partitions_meta WHERE TABLET_BALANCED = 0;
示例:
+--------------+---------------+----------------+-----------------+
| DB_NAME | TABLE_NAME | PARTITION_NAME | TABLET_BALANCED |
+--------------+---------------+----------------+-----------------+
| ssb | lineorder | lineorder | 0 |
+--------------+---------------+----------------+-----------------+
TABLET_BALANCED:tablet 分布是否平衡。
1.6.4 查看 tablet 调度任务
可以查看处于 pending、running 和 finished 状态的 tablet 调度任务。
查看 pending 的 tablet 调度任务:
SHOW PROC '/cluster_balance/pending_tablets';
示例:
+----------+--------+-----------------+---------+----------+----------+-------+---------+--------+----------+---------+---------------------+---------------------+---------------------+----------+------+-------------+---------------+---------------------+------------+---------------------+--------+---------------------+-------------------------------+
| TabletId | Type | Status | State | OrigPrio | DynmPrio | SrcBe | SrcPath | DestBe | DestPath | Timeout | Create | LstSched | LstVisit | Finished | Rate | FailedSched | FailedRunning | LstAdjPrio | VisibleVer | VisibleVerHash | CmtVer | CmtVerHash | ErrMsg |
+----------+--------+-----------------+---------+----------+----------+-------+---------+--------+----------+---------+---------------------+---------------------+---------------------+----------+------+-------------+---------------+---------------------+------------+---------------------+--------+---------------------+-------------------------------+
| 4203036 | REPAIR | REPLICA_MISSING | PENDING | HIGH | LOW | -1 | -1 | -1 | -1 | 0 | 2019-02-21 15:00:20 | 2019-02-24 11:18:41 | 2019-02-24 11:18:41 | N/A | N/A | 2 | 0 | 2019-02-21 15:00:43 | 1 | 0 | 2 | 0 | unable to find source replica |
+----------+--------+-----------------+---------+----------+----------+-------+---------+--------+----------+---------+---------------------+---------------------+---------------------+----------+------+-------------+---------------+---------------------+------------+---------------------+--------+---------------------+-------------------------------+
字段含义说明:
TabletId:待调度 tablet 的 ID,一个调度任务只针对一个 tablet。Type:任务类型,取值REPAIR和BALANCE。Status:tablet 的当前状态,如REPLICA_MISSING。State:调度任务的状态,取值PENDING、RUNNING、FINISHED、CANCELLED、TIMEOUT和UNEXPECTED。OrigPrio:任务的原始优先级。DynmPrio:动态调整后任务的当前优先级。SrcBe:源 BE 节点 ID。SrcPath:源 BE 节点路径的哈希值。DestBe:目标 BE 节点 ID。DestPath:目标 BE 节点路径的哈希值。Timeout:任务调度成功时的超时时间,单位:秒。Create:任务创建时间。LstSched:任务最近一次被调度的时间。LstVisit:任务最近一次被访问的时间(访问指调度该任务或上报其执行情况)。Finished:任务完成时间。Rate:数据克隆速率。FailedSched:任务调度失败次数。FailedRunning:任务执行失败次数。LstAdjPrio:任务最近一次优先级调整时间。CmtVer、CmtVerHash、VisibleVer、VisibleVerHash:执行克隆任务所使用的版本信息。ErrMsg:任务调度与运行过程中产生的错误信息。
查看 running 的 tablet 调度任务:
SHOW PROC '/cluster_balance/running_tablets';
返回结果与 pending 任务一致。
查看 finished 的 tablet 调度任务:
SHOW PROC '/cluster_balance/history_tablets';
返回结果与 pending 任务一致。如果任务的 State 为 FINISHED,说明任务已成功完成;否则请检查 ErrMsg 字段查找失败原因。
1.7 资源控制
由于 StarRocks 通过将一个 BE 节点上的 tablet 克隆到另一个 BE 节点来修复和平衡 tablet,如果某个 BE 节点在短时间内执行此类任务过于频繁,其 I/O 负载会急剧上升。为避免这种情况,StarRocks 为每个 BE 节点设置了克隆任务的并发限制。资源控制的最小单位是磁盘,即你在 BE 配置文件中指定的数据存储路径(storage_root_path)。默认情况下,StarRocks 为每块磁盘分配 2 个 slot 来处理 tablet 修复任务。一个克隆任务在源 BE 节点和目标 BE 节点上各占用 1 个 slot。如果 BE 节点上的所有 slot 都被占用,StarRocks 将停止向该节点调度任务。可以通过提高 FE 动态参数 tablet_sched_slot_num_per_path 的值来增加 BE 节点上的 slot 数量。
该参数在 Config.java 中定义为可动态修改(@ConfField(mutable = true)),默认值为 8(对应每路径的默认 slot 数,其注释说明未来计划根据克隆任务统计动态调整)。相关参数还有 tablet_sched_max_scheduling_tablets(默认 10000,超过则跳过检查)以及 tablet_sched_disable_balance(设为 true 可关闭 TabletScheduler 的自动平衡)。
StarRocks 会专门为 tablet 平衡任务分配 2 个 slot,以避免高负载 BE 节点因为修复任务持续占用 slot,而无法通过平衡 tablet 释放磁盘空间的情况。
二、Shared-data:云原生表的副本恢复
2.1 概述
从 v4.1 起,StarRocks 支持在 Shared-data 集群中修复云原生表(cloud-native table)的数据副本。
在 Shared-data 架构中,数据以单副本模式存储在对象存储或 HDFS 等远程存储系统上,以降低存储成本。与传统 Shared-nothing 架构不同,这种设计无法依赖多个副本在文件丢失时自动恢复数据。
因此,如果 FE 维护的有效元数据版本引用了远程存储中已不存在的元数据文件或数据文件,数据导入和查询操作将因 "File not found" 错误而失败,可能导致服务不可用。
此类文件丢失可能发生在以下场景:
- 意外删除:由于操作失误,对象存储文件被误删。
- 一致性问题:极端情况下,存储系统出现延迟一致或元数据丢失。
- 软件缺陷:系统缺陷导致文件被过早清理。
传统的基于快照的恢复机制往往耗时且成本高昂,不适合在生产环境中快速恢复。
为解决该问题,StarRocks 提供了一种低成本、秒级的恢复机制:通过扫描历史元数据版本,系统识别出所有必需文件均存在的最新的健康版本,并将 Tablet 元数据回滚到该版本。这种方法以牺牲少量近期数据为代价,换取表可用性的快速恢复。
2.2 工作机制
该功能是对 Shared-data 集群中云原生表的 ADMIN REPAIR TABLE 语句的扩展,通过以下机制运作:
-
自动探测(Automated Detection) FE 协调计算节点(CN)按时间倒序、分批次探测历史 Tablet 元数据版本。
-
确定性路径推导(Deterministic Path Derivation) 元数据文件路径可以确定性推导,因此可直接探测,无需执行昂贵低效的对象存储 List Objects 操作。
-
多策略恢复决策(Multi-Strategy Recovery Decisions) 支持两种恢复策略——严格一致(Strict Consistency)与最大可用(Maximum Availability),以适应不同的业务需求。
-
元数据重置能力(Metadata Reset Capability) 当元数据完全不可用时,系统可以创建空 Tablet(Empty Tablet Recovery),避免少量损坏的 Tablet 阻塞整张表的可用性。
2.3 关键收益
- 超快恢复:仅修改元数据(KB/MB 级),无需移动数据,即使 PB 级表也能实现秒级恢复。
- 低运维成本:无需额外副本,也无需昂贵的对象存储 API 调用。
2.4 检查 Tablet 状态
执行修复之前,可以使用 ADMIN SHOW TABLET STATUS 语句检查云原生表或云原生物化视图中每个 Tablet 的文件完整性,识别元数据或数据文件是否缺失。
仅 Shared-data 集群中的云原生表和云原生物化视图支持该语句。
语法
ADMIN SHOW TABLET STATUS FROM [<db_name>.]<table_name>
[PARTITION (<partition_name> [, <partition_name>, ...])]
[WHERE STATUS [=|!=] {'NORMAL'|'MISSING_META'|'MISSING_DATA'}]
[PROPERTIES ("max_missing_data_files_to_show" = "<num>")]
Tablet 状态取值:
| Status | 说明 |
|---|---|
| NORMAL | 元数据与数据文件均完好。 |
| MISSING_META | 元数据文件缺失。 |
| MISSING_DATA | 数据文件缺失。 |
返回列:
| 列 | 说明 |
|---|---|
| TabletId | Tablet ID。 |
| PartitionId | Tablet 所属分区的物理分区 ID。 |
| Version | Tablet 当前可见版本。 |
| Status | Tablet 状态,取值见上表。 |
| MissingDataFileCount | 缺失数据文件的数量。当 Status 为 MISSING_DATA 时返回。 |
| MissingDataFiles | 缺失数据文件路径列表。受 max_missing_data_files_to_show 限制(默认:5)。当 Status 为 MISSING_DATA 时返回。 |
示例:检查分区中的异常 tablet
ADMIN SHOW TABLET STATUS FROM my_cloud_table PARTITION (p20250101)
WHERE STATUS != "NORMAL";
2.5 使用 ADMIN REPAIR TABLE 恢复
语法
使用带 PROPERTIES 的 ADMIN REPAIR TABLE 语句控制恢复行为:
ADMIN REPAIR TABLE <table_name>
[PARTITION (<partition_name>, ...)]
PROPERTIES (
'enforce_consistent_version' = 'true',
'allow_empty_tablet_recovery' = 'false'
);
Properties 参数:
| 属性 | 类型 | 默认值 | 说明 |
|---|---|---|---|
| enforce_consistent_version | Boolean | True | 是否强制分区内所有 tablet 回滚到一致的版本。设为 true 时,系统会在历史中查找对所有 tablet 都有效的一致版本进行回滚,确保分区内数据版本对齐;设为 false 时,允许分区内每个 tablet 回滚到各自最近的有效版本,不同 tablet 的版本可能不一致,但能最大程度保留数据。 |
| allow_empty_tablet_recovery | Boolean | False | 是否允许通过创建空 tablet 来恢复。该参数仅在 enforce_consistent_version 为 false 时生效。设为 true 时,当某些 tablet 的所有版本元数据都缺失、但至少一个 tablet 存在有效元数据时,系统会尝试创建空 tablet 填充缺失版本。如果所有 tablet 的所有版本元数据均已丢失,则无法恢复。 |
| dry_run | Boolean | False | 是否只返回修复计划而不实际执行修复。设为 true 时,系统会评估每个分区的可恢复性并返回修复计划,不执行任何实际的元数据回滚。可用于在执行前预览修复效果。参见 预览修复计划(Dry Run)。 |
2.6 示例
示例 1:严格一致恢复(强烈一致场景推荐)
将分区 p20250101 中的所有 Tablet 恢复到最近的一致且完整的版本:
ADMIN REPAIR TABLE my_cloud_table PARTITION (p20250101);
示例 2:最大可用恢复
将分区 p20250101 中的每个 Tablet 恢复到各自最近的有效版本,允许版本分歧:
ADMIN REPAIR TABLE my_cloud_table PARTITION (p20250101)
PROPERTIES (
'enforce_consistent_version' = 'false'
);
示例 3:允许空 Tablet 恢复
允许元数据完全缺失的 Tablet 以空 Tablet 形式恢复:
ADMIN REPAIR TABLE my_cloud_table PARTITION (p20250101)
PROPERTIES (
'enforce_consistent_version' = 'false',
'allow_empty_tablet_recovery' = 'true'
);
2.7 预览修复计划(Dry Run)
在执行修复之前,可以使用 dry_run 模式预览修复计划。这样可以检查每个分区的可恢复性以及每个 tablet 将回滚到的版本,而不会实际修改任何元数据。
dry_run 模式仅支持 Shared-data 集群中的云原生表。
语法
ADMIN REPAIR TABLE <table_name>
[PARTITION (<partition_name>, ...)]
PROPERTIES (
'dry_run' = 'true'
);
返回列
| 列 | 说明 |
|---|---|
| PartitionId | 分区 ID。 |
| VisibleVersion | 当前可见版本。 |
| RepairStatus | 修复状态:NORMAL(所有 tablet 健康,无需修复)、RECOVERABLE(文件缺失但可恢复)、UNRECOVERABLE(文件缺失且不可恢复)、UNKNOWN(探测过程中出现异常)。 |
| TabletRecoverInfo | JSON 数组,列出每个 tablet 将回滚到的版本。仅当 RepairStatus 为 RECOVERABLE 时返回。 |
| ErrorMsg | 错误信息。仅当 RepairStatus 为 UNRECOVERABLE 或 UNKNOWN 时返回。 |
示例:预览分区 p1 的修复计划
ADMIN REPAIR TABLE my_cloud_table PARTITION (p1) PROPERTIES ("dry_run" = "true");
示例输出:
+-------------+----------------+--------------+-----------------------------------------------------------------------+---------+
| PartitionId | VisibleVersion | RepairStatus | TabletRecoverInfo | ErrorMsg|
+-------------+----------------+--------------+-----------------------------------------------------------------------+---------+
| 10001 | 100 | RECOVERABLE | [{"tabletId":20001,"version":98},{"tabletId":20002,"version":98}] | |
| 10002 | 100 | NORMAL | [] | |
+-------------+----------------+--------------+-----------------------------------------------------------------------+---------+
确认修复计划后,移除 dry_run(或将其设为 false)即可执行实际修复。
2.8 限制与建议
- Shared-data 集群从 v3.5 起支持副本修复。
- 目前
PROPERTIES仅适用于 Shared-data 表。 - 执行物化视图恢复时需注意:
- 异步物化视图恢复后需要手动刷新。
- 同步物化视图必须使用严格一致恢复,以确保基表与 rollup 数据之间的一致性。
- 恢复是尽力而为(best-effort)的。根据可用的历史版本和所选的恢复策略,预期会有少量数据丢失。
三、运维实践建议
结合上述机制,给出以下实践建议:
- 副本数规划:默认
replication_num=3可同时满足多数派写仲裁(MAJORITY)与故障容错需求;至少部署 3 个 BE 节点。若对写入延迟敏感且可容忍可用性下降,可谨慎将write_quorum降为ONE。 - 监控与巡检:定期执行
SHOW PROC '/statistic'与ADMIN SHOW REPLICA STATUS检查健康副本数与IsBad字段,结合SHOW PROC '/cluster_balance/balance_stat'观察集群平衡状态;对 Shared-data 表使用ADMIN SHOW TABLET STATUS检查文件完整性。 - 修复调度调优:FE 中
tablet_sched_checker_interval_seconds(默认 20 秒)控制检查频率,tablet_sched_slot_num_per_path(默认 8,每磁盘修复任务占 2 slot)控制克隆并发,需要时可动态调整以平衡修复速度与 I/O 负载。 - Shared-data 恢复流程:先用
dry_run预览恢复计划,确认各 tablet 回滚版本与可恢复性后,再按业务对一致性的要求选择严格一致恢复或最大可用恢复;必要时开启空 Tablet 恢复以避免单点 tablet 阻塞整表。 - 物化视图注意:恢复物化视图后,异步物化视图需手动刷新,同步物化视图务必使用严格一致恢复。
相关文档
- CREATE TABLE / ALTER TABLE:设置
write_quorum、replication_num等表属性 - ADMIN SHOW REPLICA STATUS
- ADMIN SHOW REPLICA DISTRIBUTION
- ADMIN SHOW TABLET STATUS
- ADMIN REPAIR TABLE / ADMIN CANCEL REPAIR TABLE
- SHOW TABLET

