Polars流式引擎中左连接操作顺序敏感性问题分析

问题背景

Polars作为一款高性能的数据处理库，在其1.24.0版本中引入的新流式引擎在处理特定模式的左连接操作时出现了一个值得注意的行为差异。当开发者使用嵌套连接（即先连接右侧表再与左侧表连接）时，新流式引擎下的左连接表现出了类似内连接的行为，而传统执行方式则保持预期的左连接语义。

问题重现

通过构造一个包含父表、子表和子子表的测试场景可以清晰地复现该问题。父表包含3条记录，而子表和子子表均为空表。当采用以下两种不同连接顺序时：

1. 先连接子表和子子表，再与父表左连接
2. 先连接父表和子表，再与子子表左连接

在新流式引擎下，第一种连接顺序会错误地返回空结果，而第二种顺序则能正确返回父表的3条记录。这种差异在传统执行方式下并不存在。

技术分析

该问题的根源在于新流式引擎中引入的连接采样优化机制。为了提高连接性能，引擎会尝试对连接键进行采样以估计数据分布，但在处理空表时，这种采样机制可能导致连接策略选择错误。具体表现为：

• 当遇到空表参与连接时，采样机制无法获取有效样本
• 错误地将左连接降级为内连接处理
• 最终导致应该保留的左侧数据被错误过滤

临时解决方案

目前开发者可以通过设置环境变量POLARS_JOIN_SAMPLE_LIMIT=0来临时禁用连接采样优化，这将强制引擎使用传统的连接处理方式，避免该问题的发生。

影响范围

该问题主要影响以下场景：

• 使用新流式引擎（new_streaming=True）
• 涉及多层嵌套的左连接操作
• 连接中包含空表或可能为空的中间结果

最佳实践建议

在问题修复前，建议开发者：

1. 对涉及空表参与的连接操作保持警惕
2. 考虑调整连接顺序，优先连接左侧表
3. 在关键业务逻辑中暂时禁用连接采样优化
4. 对结果进行验证，确保数据完整性

总结

这个问题揭示了流式处理引擎中优化策略与语义保持之间的微妙平衡。虽然性能优化很重要，但保持操作语义的一致性更为关键。Polars团队已经意识到该问题，预计在后续版本中会提供更完善的解决方案。在此期间，开发者应了解这一限制并采取适当的预防措施。