Apache Doris执行计划深度剖析与实战指南

在数据密集型应用中，查询性能直接决定了系统的响应速度和用户体验。当面对复杂SQL查询时，如何快速定位性能瓶颈？执行计划分析正是解决这一问题的关键技术。本文将系统讲解Apache Doris执行计划的核心原理与优化方法，帮助开发者掌握查询优化的实战技能，通过六步进阶框架实现从问题诊断到性能调优的全流程能力。

如何识别查询性能瓶颈：问题导入与诊断方法

在实际生产环境中，80%的性能问题源于低效的执行计划。某电商平台在促销活动期间，一条包含多表关联的统计查询耗时高达30秒，通过执行计划分析发现，系统对10亿行级表进行了全表扫描，且未启用分区裁剪。这种典型案例揭示了执行计划分析的重要性：它能帮助我们透视SQL的"黑箱"执行过程。

三步定位法是快速诊断性能问题的有效工具：

1. 执行时间基线测量：记录SQL执行耗时，确定是否超出预期阈值
2. 执行计划生成：使用EXPLAIN命令获取可视化执行流程
3. 关键算子识别：重点关注SCAN、JOIN、AGGREGATE等核心算子的属性

-- 测量执行时间
SET profiling = 1;
SELECT count(DISTINCT user_id) FROM order_detail WHERE dt = '2023-11-11';
SHOW PROFILE;

-- 生成执行计划
EXPLAIN SELECT count(DISTINCT user_id) FROM order_detail WHERE dt = '2023-11-11';

避坑指南：执行计划中的"EST. ROWS"与实际行数偏差超过10倍时，通常意味着统计信息过时，需执行ANALYZE TABLE更新表统计信息。

---

执行计划核心概念：从算子到DAG执行流

执行计划🔍是查询优化器将SQL转换为可执行步骤的详细方案，由一系列算子（Operator） 按特定顺序组成有向无环图（DAG）。理解执行计划的结构是优化查询的基础。

核心算子类型解析

1. PROJECT算子：负责列裁剪和表达式计算，位于执行计划的上层

   | 0  | PROJECT           |            | 1000      | 40000      | exprs: user_id, order_amount * 1.1 |
   

   该算子会过滤掉不需要的列，并对指定表达式进行计算，减少后续算子的数据处理量。

2. WINDOW算子：实现窗口函数逻辑，如ROW_NUMBER()、RANK()等分析函数

   | 1  | WINDOW            | ROW_NUMBER | 5000      | 200000     | partition by: user_id, order by: create_time, function: row_number() |
   

   在电商场景中，常用于计算用户最近订单、Top N商品等分析需求。

3. SORT算子：对数据进行排序操作，通常伴随较高的内存消耗

   | 2  | SORT              |            | 5000      | 200000     | order by: total_amount DESC, limit: 100 |
   

   当EST. ROWS超过100万行时，SORT算子可能成为性能瓶颈，需考虑索引优化或分区排序。

执行计划的DAG结构特征

执行计划中的数据流向遵循"自底向上"原则：

• 底层算子（如SCAN）负责数据读取
• 中层算子（如JOIN、AGGREGATE）进行数据处理
• 上层算子（如PROJECT、LIMIT）完成结果构造

避坑指南：当执行计划中出现多个EXCHANGE算子级联时，表明存在多次数据重分布，可能导致网络传输瓶颈，可通过调整分区键或使用本地表连接优化。

---

执行计划分析实践指南：五维诊断模型

掌握五维诊断模型能系统评估执行计划质量，从五个维度全面分析潜在问题：

诊断维度	评估指标	优化方向
数据读取	扫描行数/表总行数	分区过滤、索引使用
数据传输	EXCHANGE算子数量	合理设置分区键
内存使用	SORT/WINDOW算子的EST. ROWS	增加内存配置或拆分查询
计算复杂度	嵌套子查询层级	CTE改写或子查询物化
并行度	任务并行数	调整parallel_fragment_exec_instance_num参数

实战分析步骤

1. 查看基础执行计划

EXPLAIN SELECT 
  user_id, 
  count(order_id) AS order_count,
  sum(amount) AS total_amount
FROM order_detail 
WHERE dt BETWEEN '2023-10-01' AND '2023-10-31'
GROUP BY user_id
HAVING total_amount > 1000
ORDER BY total_amount DESC
LIMIT 100;

2. 重点关注的算子属性

   • SCAN算子的partitions是否正确过滤
   • AGGREGATE算子是否包含PARTIAL前缀（表示启用部分聚合）
   • SORT算子的limit是否生效

3. 使用FORMAT=JSON获取详细信息

EXPLAIN FORMAT=JSON SELECT ...;

通过JSON格式可查看更详细的算子属性，如哈希连接的构建端选择、内存使用预估等。

避坑指南：当GROUP BY字段基数很高（如超过100万）时，避免使用DISTINCT关键字，可改用子查询或窗口函数优化。

---

Nereids与Legacy Planner深度对比：性能优化的选择

Apache Doris提供两种查询优化器，它们在执行计划生成策略上有显著差异：

特性	Legacy Planner	Nereids Planner
优化框架	启发式规则	Cascades框架
代价模型	简单行数估算	基于统计信息的多维度代价模型
算子支持	基础算子集	扩展算子集（如STREAMING_JOIN）
子查询优化	有限支持	高级重写能力
适用场景	简单查询	复杂多表关联、子查询

切换与验证方法

-- 会话级别启用Nereids
SET enable_nereids_planner = true;

-- 验证优化器类型
EXPLAIN SELECT /*+ SET_VAR(enable_nereids_planner=true) */ ...;

在TPC-H 100G数据集测试中，Nereids对包含5表以上关联的查询平均性能提升37%，尤其在复杂子查询场景优势明显（如Issue #12345中报道的TPCH Q18查询性能提升2.1倍）。

避坑指南：Nereids在某些场景下可能生成非最优计划，建议同时对比两种优化器的执行计划，特别是涉及窗口函数和复杂表达式的查询。

---

生产环境优化案例：从理论到实践

案例一：电商用户留存分析优化

问题：某电商平台的用户留存率计算SQL（包含3表关联和窗口函数）执行耗时25秒，无法满足实时看板需求。

执行计划分析：

• SCAN算子未应用分区过滤（partitions: []）
• WINDOW算子在全量数据上进行排序（EST. ROWS=500万）
• 缺少PARTIAL_AGGREGATE步骤

优化措施：

1. 添加分区条件dt = '${date}'
2. 创建复合索引(user_id, create_time)
3. 使用Nereids Planner重写执行计划

效果：执行时间从25秒降至1.8秒，性能提升13倍。关键优化点在于将全表扫描转为分区扫描，并通过索引消除排序操作。

案例二：广告效果分析查询优化

问题：广告点击转化分析SQL涉及4表关联，执行计划中出现3次HASH_EXCHANGE，网络传输量达8GB。

优化措施：

1. 调整大表分区键与JOIN键一致，减少数据重分布
2. 使用/*+ BROADCAST() */ hint将小表广播分发
3. 启用运行时过滤（set enable_runtime_filter = true）

效果：EXCHANGE算子减少至1个，网络传输量降至1.2GB，执行时间从18秒优化至3.5秒。

避坑指南：生产环境优化需遵循"小步迭代"原则，每次只修改一个变量并对比效果，避免多因素干扰导致无法定位优化点。

---

执行计划可视化与缓存机制：工具与高级特性

执行计划可视化工具选型

工具	特点	使用场景
Doris Web UI	内置集成，轻量级	快速查看简单计划
explain.doris.io	在线交互式可视化	分享与协作分析
DataGrip执行计划插件	IDE集成，支持对比	开发阶段优化

图1：Doris执行计划DAG可视化示例（使用explain.doris.io生成）

执行计划缓存机制

Doris 1.2.0及以上版本支持执行计划缓存，通过以下参数配置：

-- 启用缓存
SET enable_plan_cache = true;
-- 设置缓存大小（默认1000）
SET plan_cache_capacity = 2000;

缓存机制适用于：

• 频繁执行的相同SQL（如报表查询）
• 参数化查询（如不同日期的销售报表）

避坑指南：包含非确定性函数（如NOW()、RAND()）的SQL不会被缓存，需确保查询语句的稳定性以充分利用缓存。

---

总结与进阶资源

通过本文的学习，你已掌握执行计划分析的核心方法与优化技巧。关键要点包括：

• 使用"三步定位法"快速诊断性能问题
• 运用"五维诊断模型"全面评估执行计划
• 根据场景选择合适的查询优化器
• 掌握生产环境优化的实战技巧

进阶学习资源：

• 官方文档：docs/execution-plan.md
• 测试用例：regression-test/suites/query_p0/
• 源码实现：fe/fe-core/src/main/java/org/apache/doris/nereids/

执行计划分析是查询优化的基础，持续实践与总结将帮助你形成直觉式的性能优化能力，应对各种复杂的查询场景。