Apache Doris 磁盘溢出（Spill Disk）机制深度解析

概述：为什么需要磁盘溢出机制

Apache Doris 作为一款高性能的MPP分析型数据库，其计算层采用全内存处理架构。这种设计虽然带来了极高的查询性能，但在处理大规模数据集或复杂查询时，内存资源往往成为瓶颈。根据线上统计，相当比例的查询错误都与内存问题相关。

随着越来越多的用户将ETL数据处理、多表物化视图处理、复杂AdHoc查询等任务迁移到Doris，单纯依赖内存处理已无法满足需求。磁盘溢出（Spill Disk）机制应运而生，它通过将中间计算结果临时写入磁盘，突破了单节点内存限制，使系统能够处理远超内存容量的大型查询任务。

核心工作机制

内存管理三级架构

Doris的内存管理采用三级架构设计：

1. 进程级内存管理：通过be.conf中的mem_limit参数控制整个BE进程的内存使用上限
2. 工作负载组级：通过Workload Group实现不同业务负载的资源隔离
3. 查询级：控制单个查询的内存使用量

溢出触发流程

1. 内存预估：执行过程中，Doris预估每个数据块处理所需内存
2. 内存申请：向统一内存管理器申请内存资源
3. 溢出判断：当内存不足时，暂停当前查询
4. 选择溢出算子：选取内存占用最大的算子进行磁盘溢出
5. 恢复执行：溢出完成后恢复查询执行

支持溢出的算子类型

当前版本支持以下算子类型的磁盘溢出：

1. Hash Join算子：处理大表连接时的中间结果
2. 聚合算子：处理大规模数据聚合的中间状态
3. 排序算子：处理大规模数据排序的临时结果
4. CTE(公共表表达式)：处理复杂查询中的临时结果集

配置与优化指南

BE节点配置

# 溢出文件存储路径（建议使用独立磁盘）
spill_storage_root_path=/mnt/disk1/spilltest/doris/be/storage;/mnt/disk2/doris-spill

# 溢出磁盘空间限制（建议设置为100%当使用独立磁盘时）
spill_storage_limit=100%

会话变量设置

-- 启用溢出功能
SET enable_spill = true;

-- 设置查询内存限制
SET exec_mem_limit = 10g;

-- 禁用内存超额分配
SET enable_mem_overcommit = false;

工作负载组优化

-- 调整工作负载组内存占比
ALTER WORKLOAD GROUP normal PROPERTIES ('memory_limit'='90%');

监控与诊断

审计日志分析

审计日志新增了两个关键字段：

• SpillWriteBytesToLocalStorage：写入磁盘的数据量
• SpillReadBytesFromLocalStorage：从磁盘读取的数据量

Profile指标解读

以HashJoin算子为例，溢出相关的关键指标包括：

• Spilled：是否触发了溢出
• SpillWriteRows：溢出行数
• SpillWriteFileBytes：溢出文件大小
• SpillTotalTime：总溢出耗时
• SpillBuildTime：构建溢出分区耗时

系统表监控

1. backend_active_tasks表新增溢出相关字段
2. workload_group_resource_usage表新增写入缓冲区使用情况

性能测试数据

在10TB TPC-DS测试数据集上（内存与数据量比为1:52），所有99个查询均成功执行，总耗时约32,000秒。测试环境配置：

• FE节点：16核32GB
• BE节点：16核64GB（3节点）

典型查询耗时示例：

• 简单查询：20-30秒
• 中等复杂度查询：2-3分钟
• 复杂查询：5-10分钟

最佳实践建议

1. 独立磁盘配置：为溢出文件配置独立磁盘，避免影响正常数据存储
2. SSD优先：溢出操作会产生大量磁盘IO，建议使用SSD
3. 超时调整：溢出会增加查询时间，适当增大query_timeout
4. 内存监控：密切监控workload_group_resource_usage表
5. 渐进式优化：从小数据集开始测试，逐步增加数据量观察溢出影响

未来发展方向

1. 支持更多算子的溢出能力（如窗口函数、Intersect等）
2. 优化溢出情况下的查询性能
3. 减少磁盘空间占用
4. 增强溢出过程的稳定性
5. 提供更细粒度的溢出策略控制

通过合理配置和使用磁盘溢出机制，Apache Doris能够稳定高效地处理超大规模数据查询，为用户提供更强大的数据分析能力。