optd-original 项目亮点解析

项目基础介绍

optd（发音为“op-dee”）是一个数据库优化器框架，基于哥伦比亚大学的Cascades优化器框架实现。该项目旨在探索在实际生产环境中有效实现成本基优化器的挑战，并提供一个支持自适应查询优化（即重优化）和自适应查询执行的灵活优化器框架。optd通过执行查询，捕获运行时信息，并利用这些数据来指导后续的规划空间搜索和成本模型估计，实现持续改进查询并探索大型规划空间。

目前，optd已经集成到Apache Arrow Datafusion中作为一个物理优化器，它接收来自Datafusion的逻辑计划，实现各种物理优化（例如确定连接顺序），然后将优化后的计划转换回Datafusion物理计划以供执行。optd是一个研究项目，仍在发展中，不建议在生产环境中使用。

项目代码目录及介绍

项目的代码目录结构清晰，主要包括以下部分：

• datafusion-optd-cli：修补后的Apache Arrow Datafusion（版本=32）命令行界面，调用optd。
• datafusion-optd-bridge：实现Apache Arrow Datafusion查询规划器作为optd和Apache Arrow Datafusion之间的桥梁。
• optd-core：optd的核心框架。
• optd-datafusion-repr：Apache Arrow Datafusion计划节点在optd中的表示。
• optd-adaptive-demo：展示optd的自适应优化功能的演示。
• optd-sqlplannertest：基于risinglightdb/sqlplannertest-rs的optd规划器测试。
• optd-gungnir：用于基数估计的可扩展、内存高效且可并行的统计方法（例如TDigest、HyperLogLog）。
• optd-perfbench：一个用于对其他数据库进行性能（基数、吞吐量等）基准测试的CLI程序。

项目亮点功能拆解

optd项目的亮点功能主要包括：

• 成本基优化：通过用户定义的规则搜索计划空间，基于成本模型和物理属性推导最优计划。
• 自适应查询优化：执行查询时捕获运行时信息，利用这些数据来指导后续的计划空间搜索和成本模型估计。
• 灵活框架：支持自适应查询优化和自适应查询执行，为优化器提供灵活的扩展性。

项目主要技术亮点拆解

optd的主要技术亮点包括：

• 基于Cascades优化器框架：实现了哥伦比亚大学提出的Cascades优化器框架，具有强大的理论基础。
• 集成Apache Arrow Datafusion：作为物理优化器集成到Apache Arrow Datafusion中，提高了查询执行的效率。
• 自适应优化：通过运行时信息的收集和利用，实现查询计划的持续优化。
• 高效的基数估计：optd-gungnir提供了可扩展、内存高效且可并行的统计方法，用于基数估计。

与同类项目对比的亮点

相比同类项目，optd的亮点在于：

• 灵活性：optd提供了灵活的优化器框架，支持自定义规则和自适应优化策略。
• 集成度：与Apache Arrow Datafusion的无缝集成，提供了高效的查询优化和执行能力。
• 研究背景：基于哥伦比亚大学的研究成果，拥有坚实的理论基础和持续的创新潜力。