DuckDB窗口函数边界计算异常问题分析与修复

问题背景

在DuckDB数据库1.2.0版本中，用户报告了一个关于窗口函数边界计算的异常行为。具体表现为：当使用RANGE BETWEEN 1 FOLLOWING AND 1 FOLLOWING这样的窗口函数范围定义时，在某些情况下会返回不应该出现的结果，而且多次执行同一查询会得到不一致的结果。

问题现象

用户提供了一个包含销售数据的测试用例，其中关键查询使用了如下窗口函数：

first(year_total) over (
  partition by sale_customer__id
  order by sale_date__year 
  range between 1 following and 1 following
)

在正常情况下，这个窗口函数应该返回每个客户ID按年份排序后下一年的year_total值。然而在1.2.0版本中：

1. 有时会返回不应该出现的非NULL值
2. 多次执行同一查询会得到不同的结果
3. 当将线程数设置为1时，问题消失

技术分析

经过深入调查，发现这个问题源于窗口函数计算框架的向量化实现中的一个边界条件错误。具体来说：

1. 向量化实现问题：在1.2.0版本中，DuckDB对窗口函数的帧计算进行了向量化优化，但在处理RANGE FOLLOWING帧时，ValidEnd向量的计算仍使用了向量化前的旧代码路径。

2. 边界计算错误：这导致在某些情况下，范围搜索的边界值会被错误计算，产生随机值。这个问题特别影响RANGE FOLLOWING帧的开始边界计算。

3. 并发影响：由于多线程执行时任务分配顺序的不确定性，导致每次执行可能触及不同的错误边界条件，从而产生不一致的结果。

问题验证

验证过程中发现了一些关键现象：

1. 在单线程模式下问题消失，说明问题与并发控制相关
2. 当数据分区中存在NULL值时更容易触发此问题
3. 对于完全有序且无重复的分区数据，问题表现更为明显

解决方案

修复方案主要包括：

1. 统一帧计算的向量化实现路径，确保所有边界计算都使用新的向量化代码
2. 特别检查RANGE FOLLOWING帧的开始边界计算逻辑
3. 增加边界条件的测试用例，包括NULL值处理和并发场景

经验总结

这个案例提供了几个重要的技术经验：

1. 向量化优化的陷阱：在优化传统代码为向量化实现时，必须确保所有相关路径都得到更新，否则可能引入难以发现的边界条件错误。

2. 并发一致性问题：多线程环境下出现的不一致结果往往是并发控制或状态管理问题的信号，单线程模式可以作为有效的调试手段。

3. 窗口函数边界条件：窗口函数的范围定义需要特别注意边界条件，特别是涉及NULL值和排序规则时。

4. 测试覆盖的重要性：需要增加针对各种边界条件的测试用例，包括极端值、NULL值和并发场景。

这个问题在后续版本中得到了修复，确保了窗口函数在各种边界条件下的正确性和一致性。