GreptimeDB PromQL查询结果异常问题分析与解决

问题背景

在使用GreptimeDB v0.14.2版本时，用户发现对特定表metrics.cpu_usage执行PromQL查询时出现结果异常。主要表现包括：

1. 返回的时间序列数据值不正确
2. 返回的时间序列数据点缺失
3. 查询结果不稳定，受并发查询影响
4. 在不同机器上表现不一致

问题现象

用户提供了几个典型查询示例：

1. 正确工作的查询（仅查询id=0的数据）：

TQL EVAL (1747334498, 1747334700, '1s') sum by(id) (cpu_usage{experiment="...", job="...", id=~"^0$"}) / 1e9

2. 返回错误值的查询（查询id=0,1,2的数据）：

TQL EVAL (1747334498, 1747334700, '1s') sum by(id) (cpu_usage{experiment="...", job="...", id=~"^[012]$"}) / 1e9

3. 同时存在缺失数据点和错误值的查询：

TQL EVAL (1747334498, 1747334700, '1s') sum by(id) (irate(cpu_usage{experiment="...", job="..."}[5s])) / 1e9

技术分析

数据表结构

cpu_usage表结构如下：

CREATE TABLE IF NOT EXISTS "cpu_usage" (
  "experiment" STRING NULL,
  "job" STRING NULL,
  "run" STRING NULL,
  "metric_type" STRING NULL,
  "id" STRING NULL,
  "state" STRING NULL,
  "unit" STRING NULL,
  "value" DOUBLE NULL,
  "ts" TIMESTAMP(9) NOT NULL,
  TIME INDEX ("ts"),
  PRIMARY KEY ("experiment", "job", "run", "metric_type", "id", "state", "unit")
)
ENGINE=mito
WITH(
  merge_mode = 'last_non_null'
)

问题根源

经过开发团队分析，问题主要源于：

1. 数据排序问题：查询执行过程中数据排序不正确，导致聚合计算时使用了错误的数据值
2. 执行顺序不稳定：由于排序问题，不同执行环境下中间结果的顺序可能不同，导致结果不一致
3. PromQL特性：查询结果末尾出现的重复数据点是PromQL的"lookback"特性所致，属于预期行为

解决方案

开发团队已定位并修复了该问题，主要改进包括：

1. 修正了查询执行过程中的数据排序逻辑
2. 确保了中间结果的稳定顺序
3. 优化了聚合计算的准确性

修复后：

• 查询返回的时间序列数量正确（如192条序列）
• 数据值计算准确
• 结果在不同环境下保持一致

验证结果

修复后的版本验证显示：

• 带id过滤的查询正确返回3条时间序列
• 不带id过滤的查询正确返回192条时间序列
• 数据形状符合预期，呈现单调递增趋势

使用建议

对于遇到类似问题的用户，建议：

1. 升级到包含修复的版本（如nightly-20250522或更高）
2. 使用TQL ANALYZE VERBOSE分析查询执行计划
3. 了解PromQL的"lookback"特性，避免误认为数据重复是问题

总结

该案例展示了时序数据库查询执行过程中数据排序的重要性。GreptimeDB团队通过快速定位和修复数据排序问题，确保了PromQL查询结果的准确性和一致性。对于时序数据处理场景，正确的数据顺序不仅影响查询性能，更是结果准确性的关键保障。