Apache SkyWalking BanyanDB 扩容时数据重复问题分析

问题背景

在分布式时序数据库BanyanDB的使用过程中，当进行数据节点扩容操作时，可能会出现数据重复写入的问题。具体表现为：相同实体值和时间戳的数据会被多次写入数据库，导致查询时出现重复记录。

问题现象

当BanyanDB集群进行水平扩展（增加数据节点）时，如果此时OAP服务器仍在持续运行并写入数据，系统可能会产生具有相同实体值和时间戳的多条数据记录。这种现象会直接影响查询结果的准确性，因为相同时间点的数据出现了重复。

技术原因分析

该问题的根本原因在于BanyanDB的分布式架构设计。在扩容过程中：

1. 数据分片重平衡：新增节点后，系统需要重新分配数据分片，这个过程可能导致部分数据被重复处理。

2. 写入路径协调：在扩容期间，协调节点(liaison node)可能无法准确判断数据是否已成功写入到新加入的节点。

3. 时间戳处理：系统缺乏有效的机制来识别和处理相同时间戳的重复数据。

解决方案讨论

经过技术团队深入讨论，提出了以下解决方案：

1. 持久化时间戳回传机制：从数据节点向协调节点回传数据的持久化时间戳信息。这样协调节点可以基于时间戳判断数据的时效性。

2. 查询聚合优化：在查询阶段，系统可以利用回传的时间戳信息，自动筛选出最新的数据版本，确保返回结果的唯一性。

3. 写入幂等性保证：在数据写入路径上增加去重机制，确保相同实体和相同时间戳的数据只被写入一次。

实施建议

对于使用BanyanDB的用户，建议：

1. 在必须进行扩容操作时，尽量选择业务低峰期进行。

2. 如果条件允许，可以先暂停OAP服务器的数据写入，待扩容完成后再恢复。

3. 关注BanyanDB的版本更新，及时应用包含此问题修复的版本。

总结

分布式数据库的扩容操作是一个复杂的工程问题，需要仔细处理数据一致性和可用性的平衡。BanyanDB团队已经识别了数据重复问题的根源，并提出了基于时间戳回传的解决方案。这一改进将显著提升系统在扩容时的数据一致性保证，为用户提供更可靠的服务。