Apache Arrow DataFusion 中 CTE 查询触发 panic 的技术分析
Apache Arrow DataFusion 是一个高性能的查询引擎,它实现了 SQL 查询的执行能力。在最近的一个版本中,开发者发现了一个关于公共表表达式(CTE)处理的 bug,这个 bug 会导致引擎在执行特定查询时触发 panic。
问题现象
当用户尝试执行一个包含 CTE 的简单查询时,DataFusion 会意外崩溃。具体查询示例如下:
WITH test AS (SELECT i as needle FROM generate_series(1, 10) t(i))
SELECT count(*) FROM test WHERE 1 = 1;
执行这个查询时,系统会报出内部错误,提示物理输入模式与从逻辑输入模式转换的模式不匹配。错误信息明确指出物理模式有1个字段,而逻辑模式有0个字段。
技术背景
在 SQL 查询处理中,公共表表达式(CTE)是一种临时命名结果集,它只在单个 SQL 语句的执行范围内存在。DataFusion 在处理 CTE 时需要完成几个关键步骤:
- 解析阶段:识别并处理 WITH 子句
- 逻辑计划生成:为 CTE 创建逻辑执行计划
- 物理计划生成:将逻辑计划转换为可执行的物理计划
- 执行阶段:实际执行查询
问题根源
这个 bug 的核心在于模式(schema)验证环节。当 DataFusion 处理包含 CTE 的查询时,特别是在处理 WHERE 子句中的常量表达式(如 1=1)时,系统在验证物理计划输入模式与逻辑计划转换后的模式时出现了不一致。
具体来说,物理计划期望的输入模式包含1个字段(对应于 CTE 的结果列),而逻辑计划转换后的模式却显示为0个字段。这种不一致导致系统触发了 panic。
影响范围
这个 bug 影响的是特定版本的 DataFusion(CLI v46.0.1),主要影响包含以下特征的查询:
- 使用了 WITH 子句定义 CTE
- 在 WHERE 子句中包含恒真条件(如 1=1)
- 可能也影响其他类似的常量表达式条件
解决方案
DataFusion 开发团队已经修复了这个问题。修复的核心在于确保在模式转换和验证过程中正确处理 CTE 的输出模式,特别是在处理看似简单的条件表达式时保持模式一致性。
技术启示
这个案例展示了查询引擎开发中的几个重要方面:
- 模式一致性验证的重要性:即使在处理看似简单的查询时,也需要严格验证各阶段的模式一致性
- CTE 处理的复杂性:CTE 虽然语法上简单,但在实现上需要考虑命名空间、作用域和模式传递等多个方面
- 防御性编程:查询引擎需要能够优雅地处理各种边界情况,而不是直接 panic
对于使用 DataFusion 的开发者来说,这个案例提醒我们在升级版本时需要注意潜在的兼容性问题,特别是在处理复杂查询时。同时,它也展示了开源社区如何快速响应和解决技术问题。
- QQwen3-Next-80B-A3B-InstructQwen3-Next-80B-A3B-Instruct 是一款支持超长上下文(最高 256K tokens)、具备高效推理与卓越性能的指令微调大模型00
- QQwen3-Next-80B-A3B-ThinkingQwen3-Next-80B-A3B-Thinking 在复杂推理和强化学习任务中超越 30B–32B 同类模型,并在多项基准测试中优于 Gemini-2.5-Flash-Thinking00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0266cinatra
c++20实现的跨平台、header only、跨平台的高性能http库。C++00AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02- HHunyuan-MT-7B腾讯混元翻译模型主要支持33种语言间的互译,包括中国五种少数民族语言。00
GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile06
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
最新内容推荐
项目优选









