Polars 1.28版本中over聚合函数行为变更分析

Polars是一个高性能的DataFrame库，在1.28版本中，用户发现了一个关于over聚合函数行为的变更。这个变更影响了条件表达式中的聚合操作结果输出形式。

问题现象

在Polars 1.27.1版本中，当使用when-then条件表达式结合over窗口函数时，如果then子句包含聚合操作（如first()、last()等），会返回标量值。但在1.28版本中，同样的表达式会返回列表值。

示例代码：

duration = pl.when(pl.col("x"))
    .then(pl.col("t").last() - pl.col("t").first())
    .otherwise(pl.lit(0))
    .over(pl.col("x").rle_id())
    .alias("duration")
df = pl.DataFrame({"x": [True,True,False,True,True,True,False], "t": [1,2,3,4,5,6,7]})
df.with_columns(duration)

1.28版本输出：

┌───────┬─────┬───────────┐
│ x     ┆ t   ┆ duration  │
│ ---   ┆ --- ┆ ---       │
│ bool  ┆ i64 ┆ list[i64] │
╞═══════╪═════╪═══════════╡
│ true  ┆ 1   ┆ [1, 1]    │
│ true  ┆ 2   ┆ [1, 1]    │
│ false ┆ 3   ┆ [0]       │
│ true  ┆ 4   ┆ [2, 2, 2] │
│ true  ┆ 5   ┆ [2, 2, 2] │
│ true  ┆ 6   ┆ [2, 2, 2] │
│ false ┆ 7   ┆ [0]       │
└───────┴─────┴───────────┘

1.27.1版本预期输出：

┌───────┬─────┬──────────┐
│ x     ┆ t   ┆ duration │
│ ---   ┆ --- ┆ ---      │
│ bool  ┆ i64 ┆ i64      │
╞═══════╪═════╪══════════╡
│ true  ┆ 1   ┆ 1        │
│ true  ┆ 2   ┆ 1        │
│ false ┆ 3   ┆ 0        │
│ true  ┆ 4   ┆ 2        │
│ true  ┆ 5   ┆ 2        │
│ true  ┆ 6   ┆ 2        │
│ false ┆ 7   ┆ 0        │
└───────┴─────┴──────────┘

技术分析

这个问题的本质在于Polars 1.28版本对条件表达式中聚合操作的处理逻辑发生了变化。具体表现为：

1. 表达式类型推断：1.28版本错误地将包含聚合操作的then子句识别为返回标量值，而实际上它应该返回与窗口大小匹配的列表值。

2. 窗口函数行为：over函数在1.28版本中对于条件表达式中的聚合操作，不再自动展开结果，而是保留了列表形式。

3. 向后兼容性：这种变更破坏了之前版本的行为，导致依赖旧行为的代码需要调整。

影响范围

这个变更主要影响以下场景：

• 使用when-then条件表达式
• then子句包含聚合操作(first/last/sum等)
• 整个表达式应用了over窗口函数

临时解决方案

在官方修复前，用户可以通过显式展开列表来恢复之前的行为：

df.with_columns(
    duration=pl.when(pl.col("x"))
    .then(pl.col("t").last() - pl.col("t").first())
    .otherwise(pl.lit(0))
    .over(pl.col("x").rle_id())
    .list.first()
    .alias("duration")
)

总结

Polars 1.28版本中over聚合函数的行为变更是一个意外的回归问题。开发团队已经确认这是一个bug，并将在后续版本中修复。对于需要精确控制输出类型的用户，建议暂时使用显式类型转换或等待官方修复版本。