Polars库中LazyFrame的pl.len()与unique()方法行为差异分析

Polars作为一款高性能的DataFrame库，在处理大规模数据时表现出色。近期发现其LazyFrame在执行pl.len()与unique()组合操作时存在一些值得注意的行为差异，本文将详细分析这一现象。

问题现象

在Polars中，DataFrame和LazyFrame是两种核心数据结构。测试发现，当对包含重复值的数据执行去重操作后，使用pl.len()获取行数时，DataFrame和LazyFrame会表现出不同的行为。

具体测试数据包含两列id1和id2，其中存在部分重复值。通过DataFrame执行去重操作后，height属性正确返回了4行结果。然而，当使用LazyFrame执行相同操作时，pl.len()却返回了3行，与实际情况不符。

深入分析

进一步测试发现，这种差异仅出现在对多列执行去重操作时。如果仅对单列执行去重，则DataFrame和LazyFrame都能返回一致的结果。这表明问题可能与LazyFrame在多列去重时的优化执行策略有关。

值得注意的是，虽然pl.len()返回的行数不正确，但实际去重后的数据内容是完全正确的。这说明问题仅存在于行数统计环节，而不影响数据本身的处理逻辑。

解决方案

经过验证，该问题在Polars的最新开发版本中已经得到修复。修复后的版本在DataFrame和LazyFrame上都能返回一致的行数结果：

• 原始数据行数：5
• 多列去重后行数：4
• 单列去重后行数：3

此外，之前版本中存在的ColumnNotFoundError问题也已解决，现在可以正常对指定列执行去重并获取行数。

最佳实践建议

对于需要精确统计行数的场景，建议：

1. 优先使用最新版本的Polars库
2. 对于关键统计逻辑，可以先执行collect()将LazyFrame转为DataFrame后再获取行数
3. 在测试用例中加入对行数统计的验证，确保数据处理各环节的一致性

Polars团队已将该测试用例纳入回归测试集，以防止未来版本中再次出现类似问题。