XTDB查询优化：SELECT条件未下推至UNNEST操作的问题分析

问题背景

在XTDB数据库系统中，用户发现了一个查询性能问题：当查询中包含UNNEST操作和WHERE条件时，WHERE条件没有被有效地下推至UNNEST操作之前执行，导致不必要的计算开销。

问题复现

考虑以下示例场景：

1. 首先向表中插入一条包含数组的记录：

(xt/execute-tx node ["INSERT INTO foo RECORDS {_id: 1, vs: [{t: 1, v: 1}]}"])

2. 然后执行一个包含UNNEST和WHERE条件的查询：

(xt/q node ["
FROM foo AS f,
     UNNEST(vs) AS vs (v)
WHERE f._id < 100
SELECT f._id, (v).t AS t, (v).v AS v"])

执行计划分析

生成的执行计划显示WHERE条件(f._id < 100)被应用在UNNEST操作之后：

[:project [{_id f.1/_id} {t (. vs.3/v :t)} {v (. vs.3/v :v)}]
 [:select (< f.1/_id 100)
  [:unnest #:vs.3{v unnest}
   [:map [{unnest f.1/vs}]
    [:rename f.1 
     [:scan {:table public/foo}
      [vs _id]]]]]]

从执行计划可以看出，查询处理流程为：

1. 扫描表foo
2. 对每条记录的vs字段进行UNNEST操作
3. 应用WHERE条件过滤
4. 最后进行投影操作

性能影响

这种执行顺序会导致性能问题，特别是当：

• 表中有大量记录
• UNNEST操作会产生大量中间结果
• WHERE条件实际上可以过滤掉大部分记录

在极端情况下，比如表中包含10万条记录，每条记录的数组字段包含200个元素，查询只针对其中一条记录(_id=0)时，性能差异会非常明显：

; 慢查询 - 先UNNEST后过滤
(xt/q *node*
  "SELECT f._id, f_x
   FROM f, UNNEST(f.xs) AS f_xs(f_x)
   WHERE f._id = 0")

; 快查询 - 使用WITH子句先过滤后UNNEST
(xt/q *node*
  "WITH f1 AS (
     SELECT f._id, f.xs
     FROM f
     WHERE f._id = 0
   )
   SELECT f1._id, f_x
   FROM f1, UNNEST(f1.xs) AS f_xs(f_x)")

优化建议

从技术角度来看，查询优化器应该能够识别WHERE条件只依赖于表f而不依赖于UNNEST结果这一事实，从而将WHERE条件下推到UNNEST操作之前执行。这种优化在关系型数据库中被称为"谓词下推"(Predicate Pushdown)。

理想情况下，优化后的执行计划应该是：

1. 扫描表foo
2. 应用WHERE条件过滤
3. 对过滤后的记录进行UNNEST操作
4. 最后进行投影操作

这种优化可以显著减少UNNEST操作需要处理的数据量，从而提高查询性能。

结论

XTDB查询优化器在处理包含UNNEST操作的查询时，未能将不相关的WHERE条件下推到UNNEST操作之前执行，这可能导致不必要的性能开销。开发团队已经确认并修复了这个问题，用户可以通过升级到最新版本获得性能改进。

对于当前版本的用户，可以通过使用WITH子句手动重写查询来获得更好的性能，如上述示例中的"快查询"所示。