Apache SkyWalking BanyanDB 高级配置优化方案

背景介绍

Apache SkyWalking 作为一款优秀的应用性能监控系统，其存储组件 BanyanDB 在数据存储和管理方面扮演着关键角色。随着系统规模的扩大和使用场景的多样化，原有的扁平化配置方式逐渐暴露出可读性差、维护困难等问题。

当前配置的局限性

目前 SkyWalking 通过 application.yml 文件以扁平化的方式配置 BanyanDB 的各项参数，这种配置方式存在几个明显问题：

1. 配置项命名冗长且不直观，如 grNormalShardNum、gmMinuteTTLDays 等
2. 缺乏层次结构，相关配置项分散在不同位置
3. 难以扩展新的配置功能，如热温冷数据分层存储

新配置方案设计

为了解决上述问题，我们提出引入专门的 bydb.yml 配置文件，采用层次化结构组织配置项。新方案的主要特点包括：

分组配置结构

新配置将按照数据类型和用途进行逻辑分组：

groups:
  records_normal:
    shard_num: 1
    segment_interval: 1d
    ttl: 3d
  records_super:
    shard_num: 2
    segment_interval: 1d
    ttl: 3d
  metrics_min:
    shard_num: 2
    segment_interval: 1d
    ttl: 7d
  metrics_hour:
    shard_num: 1
    segment_interval: 5d
    ttl: 15d
  metadata:
    shard_num: 2
    segment_interval: 15d
    ttl: 15d

配置项语义化

新配置方案采用更直观的命名方式：

• shard_num 替代原有的 ShardNum
• segment_interval 替代原有的 SIDays
• ttl 替代原有的 TTLDays

热温冷数据支持

针对不同数据访问频率的特点，新配置方案支持为特定数据组配置热温冷分层存储：

metrics_min:
  hot:
    shard_num: 2
    segment_interval: 1d
    ttl: 7d
  warm:
    shard_num: 1
    segment_interval: 7d
    ttl: 30d
  cold:
    shard_num: 1
    segment_interval: 30d
    ttl: 90d

技术实现要点

1. 配置加载机制：在原有配置系统基础上增加对 bydb.yml 的解析支持
2. 向后兼容：保留对旧配置方式的兼容，确保平滑升级
3. 环境变量支持：继续支持通过环境变量覆盖配置项
4. 配置验证：增加配置项合法性检查，避免无效配置

预期收益

1. 可读性提升：层次化配置结构使各项参数关系更加清晰
2. 维护性增强：相关配置项集中管理，减少配置错误
3. 扩展性改善：新结构更容易支持未来可能的功能扩展
4. 运维便利：支持热温冷数据分层，优化存储资源利用

总结

通过引入专门的 bydb.yml 配置文件，Apache SkyWalking 在 BanyanDB 存储配置方面实现了质的飞跃。这一改进不仅解决了当前配置可读性差的问题，还为未来可能的存储优化功能提供了良好的扩展基础。对于大规模部署 SkyWalking 的用户来说，这一改进将显著提升系统的可维护性和运维效率。