Dask项目性能问题分析：TPCH查询在版本2024.10.0到2024.11.0间的显著降速

近期在Dask项目中，用户报告了一个严重的性能退化问题：当从2024.10.0版本升级到2024.11.0版本后，TPCH基准测试查询的执行时间从2分15秒激增至16分钟以上。这一异常现象引起了开发团队的高度重视。

经过深入分析，开发团队发现问题的根源在于dask-expr库中的一个关键变更。具体来说，PR #1159引入了一个影响任务调度的重大变化。在旧版本中，DataFrame的块级融合（blockwise fusion）会生成一个扁平的字典结构来执行任务；而在新版本中，每个融合任务都被表示为一个任务规范树（task spec tree）。

这种架构变化带来了意外的副作用：每个叶子节点（代表从Parquet读取数据的任务）都会被单独处理，而系统没有对这些任务进行去重处理。这意味着，对于相同的Parquet读取操作，系统会重复执行多次，而不是像预期那样只执行一次。特别是在元数据（meta）已经明确指定的情况下，这种重复执行是完全不必要的。

开发团队提供了一个最小化复现示例，清晰地展示了这一问题。在该示例中，一个简单的过滤操作会导致底层函数被多次调用，而实际上只需要调用一次。这种重复计算直接导致了性能的急剧下降。

对于依赖Dask进行大数据处理的用户来说，这一发现具有重要意义。它不仅解释了性能下降的原因，也为开发团队提供了明确的修复方向。目前，开发团队已经确认了问题根源，并正在积极寻求解决方案。

这一案例也提醒我们，在分布式计算框架中进行架构变更时，需要特别关注其对任务调度和执行计划的影响，尤其是在涉及数据读取和任务融合等关键环节时。性能基准测试和回归测试的重要性在此次事件中得到了充分体现。