Apache Arrow DataFusion 中 CTE 查询触发 panic 的技术分析
Apache Arrow DataFusion 是一个高性能的查询引擎,它实现了 SQL 查询的执行能力。在最近的一个版本中,开发者发现了一个关于公共表表达式(CTE)处理的 bug,这个 bug 会导致引擎在执行特定查询时触发 panic。
问题现象
当用户尝试执行一个包含 CTE 的简单查询时,DataFusion 会意外崩溃。具体查询示例如下:
WITH test AS (SELECT i as needle FROM generate_series(1, 10) t(i))
SELECT count(*) FROM test WHERE 1 = 1;
执行这个查询时,系统会报出内部错误,提示物理输入模式与从逻辑输入模式转换的模式不匹配。错误信息明确指出物理模式有1个字段,而逻辑模式有0个字段。
技术背景
在 SQL 查询处理中,公共表表达式(CTE)是一种临时命名结果集,它只在单个 SQL 语句的执行范围内存在。DataFusion 在处理 CTE 时需要完成几个关键步骤:
- 解析阶段:识别并处理 WITH 子句
- 逻辑计划生成:为 CTE 创建逻辑执行计划
- 物理计划生成:将逻辑计划转换为可执行的物理计划
- 执行阶段:实际执行查询
问题根源
这个 bug 的核心在于模式(schema)验证环节。当 DataFusion 处理包含 CTE 的查询时,特别是在处理 WHERE 子句中的常量表达式(如 1=1)时,系统在验证物理计划输入模式与逻辑计划转换后的模式时出现了不一致。
具体来说,物理计划期望的输入模式包含1个字段(对应于 CTE 的结果列),而逻辑计划转换后的模式却显示为0个字段。这种不一致导致系统触发了 panic。
影响范围
这个 bug 影响的是特定版本的 DataFusion(CLI v46.0.1),主要影响包含以下特征的查询:
- 使用了 WITH 子句定义 CTE
- 在 WHERE 子句中包含恒真条件(如 1=1)
- 可能也影响其他类似的常量表达式条件
解决方案
DataFusion 开发团队已经修复了这个问题。修复的核心在于确保在模式转换和验证过程中正确处理 CTE 的输出模式,特别是在处理看似简单的条件表达式时保持模式一致性。
技术启示
这个案例展示了查询引擎开发中的几个重要方面:
- 模式一致性验证的重要性:即使在处理看似简单的查询时,也需要严格验证各阶段的模式一致性
- CTE 处理的复杂性:CTE 虽然语法上简单,但在实现上需要考虑命名空间、作用域和模式传递等多个方面
- 防御性编程:查询引擎需要能够优雅地处理各种边界情况,而不是直接 panic
对于使用 DataFusion 的开发者来说,这个案例提醒我们在升级版本时需要注意潜在的兼容性问题,特别是在处理复杂查询时。同时,它也展示了开源社区如何快速响应和解决技术问题。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0369Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++095AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









