Apache SkyWalking BanyanDB 高基数 TopN 查询优化实践

背景概述

在分布式系统监控领域，Apache SkyWalking 的 BanyanDB 作为其存储引擎，承担着海量监控数据的存储与查询任务。其中，TopN 查询是一种常见且重要的数据分析方式，用于识别系统中性能最差的服务、最耗时的接口等关键指标。

问题发现

在对 SkyWalking 官方演示环境的数据分布进行分析时，发现当前 TopN 查询实现存在高基数（High Cardinality）问题。具体表现为：

1. 每个 TopN 列表默认保留 1000 个候选条目
2. 当前实现将排名序号（rankNum）作为实体项的一部分存储
3. 这种设计导致系列索引（series index）占用空间过大

技术原理分析

在时序数据库中，高基数问题通常指某个维度（如标签）具有大量唯一值，导致索引膨胀、查询性能下降。对于 TopN 场景：

• 传统实现：将排名信息（0,1,2...1000）作为实体的一部分存储
• 问题本质：每个排名都创建独立的索引条目，造成存储放大效应

优化方案设计

提出将排名信息从实体项迁移到时间戳的纳秒部分存储，具体实现思路：

1. 时间戳重组：利用时间戳的纳秒精度部分编码排名信息
2. 采样对齐：根据度量模式（measure schema）中定义的间隔（interval）进行降采样
3. 存储优化：相同时间窗口内的 TopN 条目共享基础时间戳

实现优势

1. 存储效率提升：减少索引条目数量，降低存储空间占用
2. 查询性能改善：压缩后的索引结构提高查询效率
3. 功能无损：保持原有 TopN 查询语义和精度不变
4. 兼容性：与现有查询接口保持兼容，无需修改上层业务逻辑

技术细节

1. 时间戳编码：将 64 位时间戳分为两部分

   • 高精度部分：存储实际时间信息
   • 低精度部分：存储排名序号

2. 查询处理：

   • 首先按时间范围过滤
   • 然后解析纳秒部分获取排名信息

3. 边界处理：

   • 处理纳秒溢出情况
   • 确保不同间隔的采样对齐

预期效果

该优化方案实施后，预计可以：

1. 显著减少系列索引的存储空间占用
2. 提高 TopN 查询的响应速度
3. 降低系统整体资源消耗
4. 提升系统处理高基数场景的能力

总结展望

这种基于时间戳重编码的优化方案，为时序数据库处理高基数场景提供了一种新思路。未来可以进一步探索：

1. 动态调整 TopN 列表大小的机制
2. 更灵活的时间戳编码策略
3. 与其他压缩技术的结合应用

通过持续优化，BanyanDB 将能够更好地支撑大规模分布式系统的监控需求，为性能分析和故障诊断提供更强大的数据支撑能力。