optd-original 的项目扩展与二次开发

项目的基础介绍

optd-original 是一个基于 Columbia Cascades 优化器框架的开源数据库优化器项目，由 Carnegie Mellon University (CMU) 数据库组开发。它是一个成本基于的优化器，通过用户定义的规则搜索计划空间，并根据成本模型以及物理属性推导出最优计划。optd 的主要目标是探索有效实现面向实际生产使用的成本基于优化器的潜在挑战，并支持自适应查询优化和自适应查询执行。

项目的核心功能

optd 的核心功能包括：

• 实现基于 Columbia Cascades 优化器框架的成本基于优化。
• 提供启发式优化器实现，用于测试目的。
• 支持自适应查询优化和自适应查询执行，通过执行查询、捕获运行时信息，并利用这些数据指导后续计划空间搜索和成本模型估计。

项目使用了哪些框架或库？

optd 项目主要使用以下框架或库：

• Apache Arrow Datafusion：作为物理优化器集成到 optd 中，接收 Datafusion 的逻辑计划，实现各种物理优化（如确定连接顺序），然后将其转换回 Datafusion 物理计划以供执行。
• Rust：项目主要使用 Rust 语言编写，保证了性能和安全性。

项目的代码目录及介绍

optd 的代码目录结构如下：

• docs/：存放项目文档，使用 mdbook 格式。
• optd-adaptive-demo/：展示 optd 自适应优化能力的示例。
• optd-core/：optd 的核心框架。
• optd-datafusion-bridge/：Apache Arrow Datafusion 查询规划器的实现，作为 optd 和 Apache Arrow Datafusion 之间的桥梁。
• optd-datafusion-repr/：Apache Arrow Datafusion 计划节点在 optd 中的表示。
• optd-gungnir/：用于基数估计的可扩展、内存高效且可并行的统计方法（例如 TDigest、HyperLogLog）。
• optd-perfbench/：用于性能基准测试（基数、吞吐量等）的 CLI 程序。
• ci.sh：持续集成脚本，用于在合并到 main 分支之前测试命令。
• Cargo.lock 和 Cargo.toml：Rust 项目配置文件。

对项目进行扩展或者二次开发的方向

1. 增强优化算法：可以根据实际需求，增强或改进现有的优化算法，使其更加适应不同的查询场景和数据模式。

2. 扩展物理优化：optd 目前支持一些物理优化，但可以继续扩展，如添加新的连接算法或索引优化。

3. 集成其他数据库系统：目前 optd 与 Apache Arrow Datafusion 集成，可以尝试将其集成到其他数据库系统中，以扩大其应用范围。

4. 增加自适应功能：可以进一步开发 optd 的自适应查询优化和执行功能，使其能够更智能地调整查询计划。

5. 性能优化：通过优化代码和算法，提高 optd 的执行效率和性能。

6. 完善文档和测试：为项目增加更详细的文档和测试用例，以帮助新用户更容易地上手和贡献代码。