Apache SkyWalking BanyanDB存储模块定义变更支持方案

背景与现状分析

Apache SkyWalking作为一款优秀的应用性能监控系统，其存储后端支持多种实现方式。当前版本中，BanyanDB作为存储实现之一，在模块定义变更管理方面存在一些不足：

1. 启动时缺乏校验机制：系统启动时未对列定义（包括名称、类型、存在性）进行充分验证
2. 兼容性升级缺失：当最新定义与现有定义兼容时，系统不会自动执行列更新操作
3. 版本管理空白：缺乏数据库版本号概念，难以处理不兼容的升级场景

这些问题可能导致数据一致性问题，也限制了存储方案的灵活演进。

技术方案设计

数据库版本控制机制

核心思路是引入数据库版本号概念，为后续的兼容性升级奠定基础：

1. 版本标识：在OAP代码库中增加banyandb_db_schema_v版本标识
2. 多版本共存：支持同时维护多个兼容版本的定义组
3. 渐进式升级：通过创建带版本后缀的新组来实现平滑升级

兼容性升级策略

针对不同类型的变更，采用差异化的处理方式：

1. 兼容性变更（如新增索引但查询逻辑不变）

   • 递增小版本号（如v1→v2）
   • 保持向后兼容性
   • 自动应用变更

2. 不兼容变更（如数据结构重大调整）

   • 创建新的版本组（如_v2后缀）
   • 并行运行新旧版本
   • 逐步迁移数据

实现要点

1. 启动时校验：

   • 列名有效性检查
   • 类型兼容性验证
   • 存在性确认

2. 自动升级逻辑：

   • 检测定义差异
   • 评估兼容性
   • 执行自动化迁移

3. 版本管理接口：

   • 版本号注册
   • 版本状态追踪
   • 回滚机制

实施路线图

该功能计划在SkyWalking 10.3版本中实现，具体分为三个阶段：

1. 基础框架搭建（10.3.0-alpha）

   • 引入版本号概念
   • 建立基本校验机制

2. 兼容性升级支持（10.3.0-beta）

   • 实现自动列更新
   • 支持多版本共存

3. 生产级强化（10.3.0-rc）

   • 完善回滚机制
   • 增强异常处理
   • 性能优化

技术价值

该方案的实现将为SkyWalking带来显著提升：

1. 可靠性增强：通过严格的校验机制确保数据一致性
2. 运维简化：自动化处理兼容性变更，降低人工干预
3. 架构灵活性：支持存储方案的平滑演进
4. 风险可控：完善的不兼容变更处理机制

这一改进将使BanyanDB存储方案更加健壮和易于维护，为SkyWalking用户提供更稳定的存储体验。