CeresDB/horaedb 存储格式兼容性测试方案设计

背景介绍

在分布式时序数据库 CeresDB/horaedb 的开发过程中，我们发现了一个重要问题：当存储格式发生变化时，新版本的二进制文件可能无法兼容旧版本生成的数据。这种情况在 #1271 合并后实际发生，导致了版本升级时的数据兼容性问题。

问题分析

存储系统的向后兼容性是数据库系统稳定性的重要保障。当开发者修改存储格式时，如果没有完善的兼容性测试机制，很容易引入破坏性变更。这类问题通常会在版本升级时暴露，可能导致生产环境中的数据无法读取或写入，造成严重故障。

解决方案设计

为了从根本上解决这个问题，我们需要在 CI/CD 流程中引入存储格式兼容性测试。这个测试方案分为两个主要阶段：

第一阶段：基线数据生成

1. 使用当前主分支代码编译生成基准版本二进制文件
2. 运行该基准版本，执行一系列写入和查询操作
3. 将生成的数据集作为测试基准保存

第二阶段：兼容性验证

1. 基于待合并的 PR 代码编译新版本二进制文件
2. 使用新版本加载第一阶段生成的基准数据集
3. 执行混合读写测试，验证以下方面：
   • 旧数据读取的正确性
   • 新数据写入的兼容性
   • 混合读写场景下的稳定性

技术实现要点

1. 测试数据集设计：需要覆盖各种典型的数据模式和使用场景，包括不同数据类型、时间范围和数据量级。

2. 自动化集成：将兼容性测试作为 CI 流程的必需环节，只有通过测试的 PR 才能被合并。

3. 版本管理：建立版本兼容性矩阵，明确记录每个版本的存储格式变更和兼容性保证。

4. 性能基准：除了功能兼容性外，还应监测存储格式变更对读写性能的影响。

预期收益

1. 提高系统稳定性：在合并前捕获破坏性变更，避免影响生产环境。

2. 降低升级风险：为用户提供明确的版本升级路径和兼容性保证。

3. 提升开发效率：通过自动化测试早期发现问题，减少后期修复成本。

总结

存储格式兼容性测试是数据库系统质量保障的重要环节。通过在 CeresDB/horaedb 中实施这套测试方案，我们可以有效预防因存储格式变更导致的兼容性问题，为用户提供更可靠的产品体验。这套方案不仅适用于当前项目，其设计思路也可以为其他存储系统提供参考。