Apache SkyWalking BanyanDB 更新 Group Schema 导致数据写入异常问题分析

问题背景

在 Apache SkyWalking 的 BanyanDB 组件使用过程中，当用户尝试修改 Group schema 的配置参数（包括分片数量、索引保留天数和数据保留天数）后，系统出现了无法写入新测量数据以及读取旧数据的问题。这一现象在实际生产环境中可能会对监控系统的正常运行造成严重影响。

错误现象

系统在更新 Group schema 配置后，OAP 组件无法向数据库写入新的测量数据，同时读取旧数据时也会失败。具体表现为：

1. 客户端错误：OAP 日志中显示 gRPC 调用失败，错误信息为"directory is exist"，表明在尝试创建目录时遇到了已存在的目录。

2. 服务端错误：BanyanDB 服务器端日志显示出现了空指针异常和目录已存在的错误，特别是在处理度量收集和存储操作时。

技术分析

根本原因

这个问题主要源于 BanyanDB 在 Group schema 更新后的处理机制存在缺陷：

1. 目录冲突：当修改 Group schema 配置后，系统尝试创建新的存储目录结构时，发现目标目录已经存在，导致操作失败。

2. 资源清理不彻底：在更新 schema 时，旧的存储资源没有被完全清理干净，造成新旧资源冲突。

3. 状态不一致：schema 更新过程中，部分组件可能处于不一致状态，导致后续操作失败。

影响范围

该问题会影响以下操作：

• 所有新的测量数据写入
• 对现有数据的读取操作
• 系统监控指标的收集功能

解决方案

临时解决方案

如果遇到此问题，可以尝试以下步骤恢复服务：

1. 停止 SkyWalking OAP 服务
2. 清理 BanyanDB 的数据目录（注意备份重要数据）
3. 重新启动 BanyanDB 服务
4. 最后启动 SkyWalking OAP 服务

长期解决方案

从技术实现角度，建议 BanyanDB 在以下方面进行改进：

1. schema 变更处理：实现更健壮的 schema 变更处理机制，确保在更新配置时能够正确处理存储资源的迁移和重建。

2. 错误恢复：增强错误恢复能力，当遇到目录冲突时能够自动处理而不是直接失败。

3. 原子性操作：确保 schema 变更操作具有原子性，要么完全成功，要么完全回滚。

最佳实践

为了避免此类问题，建议用户：

1. 谨慎修改 schema：在生产环境中修改 Group schema 前，先在测试环境验证变更。

2. 备份数据：在进行任何 schema 变更前，确保备份重要数据。

3. 监控变更过程：实施变更时密切监控系统日志，及时发现并处理问题。

4. 版本兼容性：确保 OAP 和 BanyanDB 版本兼容，避免因版本不匹配导致的问题。

总结

Apache SkyWalking BanyanDB 的 Group schema 更新问题揭示了分布式时序数据库在配置变更处理方面的挑战。通过理解问题的根本原因和影响范围，用户可以更好地规避风险，同时期待未来版本能够提供更稳定可靠的 schema 变更机制。对于关键业务系统，建议在非高峰期进行此类变更，并做好充分的应急预案。