MSTICPy时间范围分割逻辑优化解析

时间范围分割算法的问题发现

在MSTICPy项目中，QueryProviderConnectionsMixin模块负责处理时间范围的分割逻辑，用于将大数据查询分解为多个小时间段查询。最近发现该模块中存在两个关键逻辑错误，影响了时间分割的准确性。

问题一：时间差计算方向错误

原始代码中存在一个时间差计算方向的问题：

if (ranges[-1][1] - end) < (split_delta / 10):
    ranges[-1] = ranges[-1][0], end

这个计算应该改为end - ranges[-1][1]，因为结束时间(end)总是大于或等于范围中的最后一个元素。方向错误会导致时间分割不准确。

示例场景：

• 开始时间：2024-03-24 00:00:00
• 结束时间：2024-03-24 23:59:59
• 分割间隔：6小时

错误输出：

00:00:00 - 05:59:59
06:00:00 - 11:59:59
12:00:00 - 23:59:59

预期输出：

00:00:00 - 05:59:59
06:00:00 - 11:59:59
12:00:00 - 17:59:59
18:00:00 - 23:59:59

问题二：时间增量应用位置错误

第二个问题是时间增量应用的位置错误：

ranges.append((ranges[-1][0] + pd.Timedelta("1ns"), end))

这里应该使用ranges[-1][1]而不是ranges[-1][0]，因为我们需要在最后一个范围的结束时间上增加1纳秒，而不是开始时间。

错误输出：

12:00:00.000000001 - 23:59:59

预期输出：

18:00:00 - 23:59:59

问题的影响与修复方案

这些问题会导致：

1. 时间分割不均匀，某些区间会比其他区间大得多
2. 可能产生极短的时间段（几纳秒），增加不必要的查询开销

修复方案包括：

1. 修正时间差计算方向
2. 调整时间增量应用位置
3. 将delta检查阈值从10%降低到0.1%，避免产生极短时间段

修复后的效果

修复后的代码能够正确分割时间范围，例如：

示例1：

2021-01-01 00:00:00 - 2021-01-01 05:59:59
2021-01-01 06:00:00 - 2021-01-01 11:59:59
2021-01-01 12:00:00 - 2021-01-01 17:59:59
2021-01-01 18:00:00 - 2021-01-01 23:59:59
2021-01-02 00:00:00 - 2021-01-02 00:20:00

示例2：

2024-03-24 00:00:00 - 2024-03-24 05:59:59
2024-03-24 06:00:00 - 2024-03-24 11:59:59
2024-03-24 12:00:00 - 2024-03-24 17:59:59
2024-03-24 18:00:00 - 2024-03-24 23:59:59

总结

时间处理是安全分析工具中的关键环节，精确的时间分割对于大数据查询性能至关重要。MSTICPy通过这次修复，确保了时间范围分割的准确性和查询效率。开发者在处理时间相关逻辑时，需要特别注意时间差计算的方向和时间增量的应用位置，避免类似问题的发生。