Apache Doris数据事务：ACID特性与实现机制

2026-02-05 05:34:25作者：申梦珏Efrain

你是否在处理海量数据时遇到过数据不一致的问题？比如报表统计时出现重复数据，或者实时分析中读取到未提交的中间结果？作为分布式SQL查询引擎，Apache Doris通过完善的事务机制确保数据可靠性。本文将从ACID特性出发，详解Doris事务的实现原理，帮助你理解如何在高并发场景下保证数据一致性。

读完本文你将了解：

Doris如何实现ACID四大特性
事务的完整生命周期管理
分布式环境下的一致性保障机制
事务配置与最佳实践

事务核心架构

Apache Doris采用分层事务架构，将事务管理分为前端协调和后端执行两层：

graph TD
    Client[客户端] --> FE[Frontend\n事务协调]
    FE -->|1. 开始事务| TM[GlobalTransactionMgr]
    TM -->|2. 元数据管理| Meta[事务状态机\nTransactionState]
    FE -->|3. 两阶段提交| BE[Backend\n数据节点]
    BE --> WAL[Write-Ahead Log\n预写日志]
    BE --> Storage[数据存储\n版本管理]

前端(FE)：通过GlobalTransactionMgr负责事务生命周期管理，包括事务的开始、提交、回滚，以及元数据一致性维护。
后端(BE)：通过TxnManager处理具体的数据提交、版本控制和日志持久化，确保事务的原子性和持久性。

核心实现代码位于：

FE事务管理：fe/fe-core/src/main/java/org/apache/doris/transaction/GlobalTransactionMgr.java
BE事务执行：be/src/olap/txn_manager.cpp

ACID特性实现

原子性(Atomicity)：两阶段提交机制

Doris采用两阶段提交(2PC) 确保事务原子性，所有数据节点要么同时提交，要么同时回滚。

实现流程：

准备阶段(PREPARE)：FE向所有参与节点发送准备请求，BE将数据写入WAL并锁定资源

// be/src/olap/txn_manager.cpp
Status TxnManager::prepare_txn(TPartitionId partition_id, TTransactionId transaction_id,
                             const PUniqueId& load_id, const std::vector<TTabletId>& tablet_ids) {
    // 写入预写日志
    RETURN_IF_ERROR(_write_prepare_log(transaction_id, tablet_ids));
    // 锁定相关资源
    _lock_tablets(transaction_id, tablet_ids);
    return Status::OK();
}

提交阶段(COMMIT)：所有节点准备成功后，FE发送提交指令，BE执行实际数据合并并释放锁

// fe/fe-core/src/main/java/org/apache/doris/transaction/GlobalTransactionMgr.java
public void commitTransactionWithoutLock(long dbId, List<Table> tableList, long transactionId,
                                       List<TabletCommitInfo> tabletCommitInfos, TxnCommitAttachment attachment) {
    // 检查所有节点准备状态
    if (!checkAllNodesPrepared(transactionId)) {
        abortTransaction(dbId, transactionId, "Prepare failed");
        return;
    }
    // 发送提交指令
    sendCommitCommand(transactionId, tabletCommitInfos);
    // 更新事务状态为COMMITTED
    updateTransactionState(transactionId, TransactionStatus.COMMITTED);
}

一致性(Consistency)：状态机与版本控制

Doris通过事务状态机和多版本控制确保数据一致性，事务状态流转如下：

stateDiagram-v2
    [*] --> PREPARE: 事务开始
    PREPARE --> COMMITTED: 所有节点准备成功
    PREPARE --> ABORTED: 任一节点失败
    COMMITTED --> VISIBLE: 版本发布完成
    VISIBLE --> [*]: 事务完成
    ABORTED --> [*]: 事务回滚

状态管理实现：fe/fe-core/src/main/java/org/apache/doris/transaction/TransactionState.java

public enum TransactionStatus {
    PREPARE,    // 准备中
    COMMITTED,  // 已提交(待发布)
    VISIBLE,    // 已可见(完成)
    ABORTED     // 已中止
}

隔离性(Isolation)：读已提交级别

Doris支持读已提交(Read Committed) 隔离级别，确保事务只能看到已提交的数据。

实现机制：

通过版本号控制可见性，每个事务对应唯一版本号
读取操作仅能访问状态为VISIBLE的版本数据
并发控制通过MetaLockUtils实现表级锁

// fe/fe-core/src/main/java/org/apache/doris/qe/SessionVariable.java
public static final String TRANSACTION_ISOLATION = "transaction_isolation";
private String transactionIsolation = "READ-COMMITTED"; // 默认隔离级别

可通过SQL设置隔离级别：

SET transaction_isolation = 'READ-COMMITTED';

持久性(Durability)：预写日志与多副本

Doris通过预写日志(WAL) 和多副本存储保证事务持久性：

Write-Ahead Logging：所有修改先写入日志再应用到数据文件

// be/src/olap/wal/wal_table.cpp
Status WalTable::_replay_one_wal_with_streamload(int64_t wal_id, const std::string& wal, const std::string& label) {
    // 读取WAL内容
    std::string wal_content = _read_wal_content(wal);
    // 应用日志到数据存储
    return _apply_wal_to_storage(wal_id, wal_content);
}

三副本存储：每个 Tablet 至少3个副本，通过Quorum协议确保写入成功

// fe/fe-core/src/main/java/org/apache/doris/catalog/Replica.java
public boolean isQuorumSatisfied() {
    return successReplicaCount >= (totalReplicaCount + 1) / 2;
}

事务生命周期管理

事务创建与提交流程

sequenceDiagram
    participant Client
    participant FE
    participant BE1
    participant BE2
    
    Client->>FE: BEGIN TRANSACTION
    FE->>FE: 生成事务ID(TID=1001)
    FE->>Client: 事务创建成功
    
    Client->>FE: INSERT INTO table VALUES(...)
    FE->>BE1: 准备事务(TID=1001)
    FE->>BE2: 准备事务(TID=1001)
    
    BE1->>FE: 准备完成
    BE2->>FE: 准备完成
    
    Client->>FE: COMMIT
    FE->>BE1: 提交事务(TID=1001)
    FE->>BE2: 提交事务(TID=1001)
    
    BE1->>FE: 提交成功
    BE2->>FE: 提交成功
    
    FE->>Client: 事务提交成功

异常处理机制

** coordinator故障**：FE通过BDB JE实现元数据高可用，Master故障时Follower自动接管

节点故障：通过副本修复机制恢复数据，事务超时未提交自动回滚

// be/src/olap/txn_manager.cpp
void TxnManager::abort_txn(TPartitionId partition_id, TTransactionId transaction_id, const std::string& reason) {
    // 回滚未提交的修改
    _rollback_uncommitted_changes(transaction_id);
    // 释放资源锁
    _unlock_tablets(transaction_id);
    // 记录异常日志
    LOG(WARNING) << "Transaction " << transaction_id << " aborted: " << reason;
}

配置与性能优化

关键配置参数

参数	说明	默认值
`stream_load_default_timeout_second`	事务超时时间	300秒
`group_commit_replay_wal_retry_interval_seconds`	WAL重试间隔	1秒
`txn_visible_timeout_second`	事务可见性延迟	10秒

配置文件路径：conf/be.conf、conf/fe.conf

最佳实践

批量提交：通过GROUP COMMIT合并小事务，减少元数据操作开销
合理设置超时：根据网络状况调整stream_load_default_timeout_second
监控事务状态：通过SHOW TRANSACTIONS命令定期检查长时间运行的事务

-- 查看当前活跃事务
SHOW TRANSACTIONS;

-- 终止异常事务
KILL TRANSACTION 'txn_id=12345';

事务测试验证

Doris提供完善的事务测试用例，覆盖单节点和分布式场景：

基础功能测试：fe/fe-core/src/test/java/org/apache/doris/transaction/GlobalTransactionMgrTest.java

并发控制测试：验证多事务并发写入的数据一致性

@Test
public void testConcurrentTransactions() throws Exception {
    // 启动10个并发事务
    ExecutorService executor = Executors.newFixedThreadPool(10);
    for (int i = 0; i < 10; i++) {
        executor.submit(() -> {
            try {
                long txnId = transMgr.beginTransaction(dbId, tableIds, label, coordinator, sourceType, timeout);
                transMgr.commitTransaction(dbId, tableList, txnId, commitInfos, null);
            } catch (Exception e) {
                e.printStackTrace();
            }
        });
    }
    executor.shutdown();
    executor.awaitTermination(1, TimeUnit.MINUTES);
    // 验证数据一致性
    assertConsistentData();
}