Java-Tron项目中快照数据拆分工具在系统崩溃场景下的优化方案

背景介绍

在区块链系统中，数据一致性是至关重要的。Java-Tron项目采用了多实例数据库模型配合检查点(checkpoint)机制来确保写入操作的原子性。检查点机制经历了两个版本的演进：

1. 检查点v1：保留最新区块的所有数据变更，并以原子方式写入临时数据库。当服务异常停止时，从临时数据库恢复最新区块的完整数据。但由于临时数据库仅保留最新区块的数据变更，在崩溃场景下可能出现数据不一致问题。

2. 检查点v2：保留最近2分钟内所有区块的数据变更，模拟类似WAL(预写式日志)的功能，解决了崩溃场景下的数据不一致问题。

问题分析

在使用Toolkit工具拆分快照时，需要合并检查点和DbStore中的数据以获取完整的快照数据。然而，当前实现存在一个潜在问题：

当使用检查点v2生成快照时，工具仅读取最新区块的数据。但实际上检查点v2由多个连续区块组成，这种行为可能导致部分数据丢失。

举例说明：

• 一个检查点v2保留了三个区块的数据：block1、block2和block3
• 我们需要获取block2中的某个数据(由于系统崩溃，DbStore未能及时持久化该数据)
• 如果仅检索block3的数据，结果将为null
• 实际上应该反向遍历所有区块以获取对应数据

技术方案

设计原则

出于安全和便利性考虑，我们提出以下设计原则：

1. 提供统一的外部查询接口，禁止绕过该接口直接访问数据库
2. 接口需要能够识别当前数据库的检查点版本
3. 能够正确合并Stores和检查点中的数据

具体实现

1. 数据结构：

   • 新增全局HashMap checkpointV2FlatMap 用于存储合并后的检查点v2数据

2. 初始化流程：

   • 工具启动时检查当前检查点版本
   • 如果是v2版本，获取检查点列表并按顺序将所有数据合并到checkpointV2FlatMap中
   • 该逻辑置于服务启动的第一步，确保后续任何读操作都能获取正确数据

3. 统一查询接口：

   • 封装getDataFromSourceDB()接口，所有原始数据库查询都通过该接口统一进行
   • 对于检查点v2：先从checkpointV2FlatMap查询数据，若结果为空则尝试从DbStore读取
   • 对于检查点v1：从临时数据库获取数据，若结果为空则尝试从DbStore读取

测试方案

为确保方案的正确性，设计了以下测试场景：

1. 正常停止场景测试：

   • 构建正常停止服务(如使用kill -15)的数据集
   • 分别使用新旧版本工具拆分数据集
   • 对比数据一致性

2. 异常停止场景测试：

   • 构建异常停止服务(如使用kill -9)的数据集
   • 分别使用新旧版本工具拆分数据集
   • 对比数据一致性

影响范围

本次优化主要解决Toolkit工具拆分数据库时可能出现的数据不一致问题，不会影响全节点的正常运行。

技术实现细节

关键代码逻辑

1. 数据查询接口：

public byte[] getDataFromSourceDB(String sourceDir, String dbName, byte[] key) {
    // 构造检查点中的key
    byte[] keyInCp = Bytes.concat(simpleEncode(dbName), key);
    byte[] valueInCp = null;
    
    // 优先从检查点获取数据
    if (检查点版本为v2) {
        valueInCp = checkpointV2FlatMap.get(keyInCp);
    } else {
        valueInCp = 临时数据库.get(keyInCp);
    }
    
    // 处理查询结果
    if (valueInCp为空) {
        value = 源数据库.get(key);
    } else {
        value = 处理检查点数据(valueInCp);
    }
    
    return value;
}

2. 检查点v2初始化：

public void initFlatCheckpointV2(String path) {
    List<String> cpList = 获取检查点v2列表(path);
    if (cpList为空) return;
    
    checkpointV2FlatMap = 新建HashMap();
    
    // 反向遍历检查点
    for (String cp : cpList) {
        DBInterface db = 获取检查点数据库(path, cp);
        DBIterator it = db.iterator();
        it.seekToFirst();
        while(it.hasNext()) {
            checkpointV2FlatMap.put(it.getKey(), it.getValue());
            it.next();
        }
        it.close();
    }
}

总结

本次优化通过引入统一的数据查询接口和完善的检查点数据处理机制，有效解决了Toolkit工具在系统崩溃场景下拆分快照可能出现的数据不一致问题。该方案不仅提升了工具的可靠性，也为未来可能的检查点机制升级提供了良好的扩展性。