Apache Doris 磁盘容量管理全指南

概述

在分布式数据库系统中，磁盘容量管理是确保系统稳定运行的关键环节。本文将深入探讨 Apache Doris 中的磁盘容量管理机制，包括监控策略、阈值设置以及应急处理方案，帮助管理员有效预防和应对磁盘空间不足的问题。

核心概念解析

数据目录(Data Dir)

在 Apache Doris 中，每个 BE(Backend)节点的数据存储由配置文件be.conf中的storage_root_path参数定义。通常一个数据目录对应一块物理磁盘，因此在下文中，"磁盘"和"数据目录"可以互换使用。

水位线机制

Apache Doris 采用两级水位线机制来监控磁盘使用情况：

1. 高水位线(High Watermark)：当磁盘使用超过此阈值时，系统会限制部分操作
2. 洪水水位线(Flood Stage)：更高级别的警戒线，超过后将禁止关键操作

这种分级管理机制既能提前预警潜在风险，又能在紧急情况下保护系统核心功能。

监控与管控机制

基础工作原理

BE节点会每分钟向FE(Frontend)报告磁盘使用情况。FE基于这些统计数据实施操作限制：

1. FE端控制：主要针对集群级别的管理操作
2. BE端自保护：考虑到FE监控可能存在延迟，BE节点也设置了自我保护机制

详细参数配置

FE端参数设置

高水位线参数

storage_high_watermark_usage_percent: 默认85(85%)
storage_min_left_capacity_bytes: 默认2GB

触发条件：磁盘使用率超过百分比阈值，或剩余空间小于绝对值阈值

受限操作：

• Tablet均衡
• 同分布组(Colocation)重定位
• 节点下线(Decommission)

洪水水位线参数

storage_flood_stage_usage_percent: 默认95(95%)
storage_flood_stage_left_capacity_bytes: 默认1GB

触发条件：磁盘使用率超过百分比阈值，或剩余空间小于绝对值阈值

受限操作：

• 所有高水位线限制的操作
• 副本补充
• 数据恢复
• 数据导入(Load/Insert)

BE端参数设置

storage_flood_stage_usage_percent: 默认90(90%)
storage_flood_stage_left_capacity_bytes: 默认1GB

触发条件：磁盘使用率超过百分比阈值，且剩余空间小于绝对值阈值

受限操作：

• 基础/累积压缩(Compaction)
• 数据加载
• 克隆任务(副本修复或均衡)
• 推送任务(Hadoop导入)
• 模式变更任务(Schema Change/Rollup)
• 下载任务(恢复操作)

磁盘空间释放方案

当磁盘使用达到警戒线时，可采取以下措施释放空间：

1. 删除表或分区

-- 删除整表
DROP TABLE tbl;

-- 删除特定分区
ALTER TABLE tbl DROP PARTITION p1;

重要提示：只有DROP操作能立即释放空间，DELETE操作不会立即释放磁盘空间。

2. 集群扩容

通过增加BE节点，系统会自动将数据均衡到新节点。此方法虽然见效较慢(取决于数据量和节点数)，但能从根本上解决问题。

3. 调整副本数

-- 将分区p1的副本数从3降为2
ALTER TABLE tbl MODIFY PARTITION p1 SET("replication_num" = "2");

注意：此操作会降低数据可靠性，建议仅作为应急措施，系统恢复后应及时将副本数调回。

4. 清理临时文件

可安全删除的目录：

• log/：日志文件
• snapshot/：快照文件
• trash/：回收站文件

警告：清理回收站会影响数据恢复功能。

主动清理命令：

ADMIN CLEAN TRASH ON(BackendHost:BackendHeartBeatPort);

系统也会自动清理，策略如下：

• 未达洪水水位线：仅清理过期文件
• 达到洪水水位线：清理所有可回收文件

自动清理间隔由max_garbage_sweep_interval和min_garbage_sweep_interval参数控制。

5. 紧急数据文件删除(高风险)

仅在极端情况下使用，且必须确保：

1. 该Tablet至少有一个正常副本
2. 操作前记录Tablet ID和Schema Hash

操作步骤：

1. 定位数据目录：data/shard_id/tablet_id/
2. 记录Schema Hash：data/0/12345/352781111中的"352781111"
3. 删除数据目录：rm -rf data/0/12345/
4. 删除元数据(需使用元数据工具)

最佳实践建议

1. 预防为主：合理设置监控告警，在达到高水位线前及时处理
2. 容量规划：预留足够缓冲空间，避免频繁触发水位线
3. 定期维护：建立定期清理机制，特别是临时文件和日志
4. 应急演练：熟悉各种释放空间的方法和影响

通过理解这些机制和策略，管理员可以有效管理Apache Doris集群的磁盘容量，确保系统稳定高效运行。