MatrixOne数据库DML操作性能优化：消除冗余Connector提升执行效率

在数据库系统MatrixOne中，我们近期针对DML(数据操作语言)执行路径进行了一项重要的性能优化，通过消除冗余的Connector组件，显著提升了INSERT/UPDATE/DELETE等操作的执行效率。

优化背景

在数据库执行引擎中，Connector组件通常用于连接不同的执行计划片段(Pipeline)，负责在不同执行单元间传递数据。然而在某些特定场景下，这种设计反而会引入不必要的性能开销。

以典型的单主键表操作为例：

CREATE TABLE t1(a int primary key, b int);
INSERT INTO t1 VALUES (1,1);

在优化前的执行计划中，系统会生成两个Connector组件，导致额外的数据拷贝和Go协程间通信开销。这种设计在简单DML操作中显得过于重量级。

优化方案

我们重新设计了执行计划生成逻辑，针对单主键表的INSERT/UPDATE/DELETE操作，移除了冗余的Connector组件。优化后的执行计划转变为两条高效的Pipeline：

1. 值处理流水线：

valuescan -> proj -> lock-proj -> hashbuild

2. 表操作流水线：

tablescan -> filter -> proj -> dedupjoin -> multiupdate

这种优化消除了不必要的数据拷贝和上下文切换，使执行路径更加简洁高效。

技术实现细节

在具体实现上，我们主要做了以下改进：

1. 执行计划分析：识别出单主键表DML操作的特殊模式，判断何时可以安全移除Connector。

2. 流水线重组：将原本需要跨Connector的操作重组为连续的流水线，保持数据局部性。

3. 锁优化：在lock-proj阶段集中处理行锁，避免锁操作分散带来的开销。

4. 哈希构建：提前构建哈希表用于后续的dedupjoin操作，减少重复计算。

性能收益

这项优化带来了多方面的性能提升：

1. 减少内存拷贝：消除了Connector间的数据中转，降低内存带宽压力。

2. 降低协程开销：减少Go协程间的通信和同步成本。

3. 提高缓存命中率：连续流水线执行有利于CPU缓存利用。

4. 简化执行路径：更直接的操作序列减少了分支预测失败。

适用场景

目前该优化已应用于以下场景：

• 单主键表的INSERT操作
• 单主键表的UPDATE操作
• 单主键表的DELETE操作

对于复合主键或更复杂的DML操作，系统仍会保留原有的Connector设计以保证功能正确性。

未来方向

我们将继续探索更多可以优化Connector使用的场景，包括：

1. 扩展至复合主键表的特定操作模式
2. 支持更多复杂查询中的Connector消除
3. 开发更智能的Connector必要性分析器

这项优化体现了MatrixOne在执行引擎优化上的持续努力，通过精细化的执行路径设计，在不牺牲功能的前提下不断提升系统性能。