DuckDB抽样查询中的DISTINCT与BERNOULLI采样异常分析

问题现象

在使用DuckDB 1.2.0版本时，当在CTE(公共表表达式)中结合使用DISTINCT和BERNOULLI采样方法时，会出现采样结果异常的现象。具体表现为：

1. 空结果集出现频率异常高：对一个1000行的表进行1%的BERNOULLI采样，理论上出现空表的概率约为1/23000，但实际观察到的概率接近1/3
2. 结果集行数波动异常：采样结果的行数标准差远高于预期值
3. 仅在包含DISTINCT操作时出现：直接对源表采样则表现正常

技术背景

BERNOULLI采样是一种概率采样方法，它对表中的每一行独立地以固定概率决定是否包含在结果中。对于1000行的表，1%的采样率期望得到10行结果，标准差约为√(1000×0.01×0.99)≈3.15。

DISTINCT操作会消除表中的重复行，在查询优化器中可能会触发特殊的执行计划。当与BERNOULLI采样结合使用时，在1.2.0版本中出现了优化器处理不当的情况。

问题复现

通过以下Python代码可以稳定复现该问题：

import duckdb
from statistics import mean, stdev

con = duckdb.connect()
sql = """
WITH some_tab AS (
    SELECT UNNEST(range(1000)) AS id
),
some_tab_unq AS (
    SELECT distinct(id) AS id FROM some_tab
),
sampled AS (
    select id from some_tab_unq
    USING SAMPLE 1% (bernoulli)
)
select count(*) as n_rows FROM sampled
"""

# 执行500次采样
row_counts = [con.sql(sql).fetchone()[0] for _ in range(500)]

在DuckDB 1.2.0中，结果表现出异常的统计特性：

• 空结果集出现频率高达约30%
• 行数标准差约11.6，远高于理论值3.15
• 最大行数可达50，远高于预期范围

问题根源

该问题源于DuckDB查询优化器在处理包含DISTINCT和BERNOULLI采样的复合查询时，生成的执行计划存在缺陷。具体表现为：

1. 采样率计算错误：优化器未能正确传递采样概率参数
2. 执行计划优化不当：DISTINCT操作可能触发了不适用于采样场景的优化策略
3. 统计信息传递异常：行数估计在查询计划各阶段传递出现偏差

解决方案

DuckDB开发团队已通过提交修复了该问题。修复方案主要涉及：

1. 优化DISTINCT与采样操作的组合处理逻辑
2. 确保采样概率参数在查询计划各阶段正确传递
3. 改进统计信息在复杂查询中的传播机制

使用建议

在等待新版本发布期间，用户可以采取以下临时解决方案：

1. 避免在采样前使用DISTINCT操作
2. 如果必须去重，考虑先采样再去重
3. 降级到1.1.3版本（该版本不受此问题影响）

总结

这个案例展示了数据库查询优化器中边缘情况的复杂性。即使是看似简单的操作组合（DISTINCT+BERNOULLI采样），也可能触发优化器的非预期行为。DuckDB团队快速响应并修复了该问题，体现了开源社区的高效协作。

对于数据分析师和开发者而言，当遇到统计结果异常时，应当：

1. 设计最小复现案例
2. 检查不同版本的差异
3. 考虑操作组合可能带来的边缘效应