Thanos Sidecar 与 Querier 连接问题分析及解决方案

问题背景

在 Thanos 监控系统中，Sidecar 组件作为 Prometheus 实例的代理，负责将本地数据暴露给 Thanos Querier 进行查询。近期在从 v0.36.1 升级到 v0.37.0 版本后，用户报告了一个关键问题：Querier 无法正确显示 Sidecar 的 Min Time 数据，导致部分查询功能异常。

问题现象

升级后，用户观察到以下异常现象：

1. Thanos Querier 界面中，运行 v0.37.0 版本的 Sidecar 实例缺失 Min Time 数据
2. 虽然可以查询最近两小时内的数据，但 label_values 查询在该时间范围内失效
3. 运行 v0.36.1 版本的 Sidecar 实例表现正常

根本原因分析

经过深入排查，发现问题源于 v0.37.0 版本中引入的一个变更。具体来说：

1. 在查询参数处理上，当 limit 参数未设置时，v0.37.0 会默认传递 0 值
2. Prometheus 2.54 之前的版本将 0 视为非法参数值
3. 这种不兼容性导致 Sidecar 与旧版 Prometheus 交互时出现问题

技术细节

问题的核心在于 gRPC 请求提示(hints)的处理逻辑。在 v0.37.0 中：

• 当 limit 参数未明确设置时，系统会从 gRPC 请求提示中获取该值
• 获取到的默认值为 0
• 这个 0 值被传递给 Prometheus API
• Prometheus 2.54 之前的版本拒绝处理 limit=0 的请求

解决方案

Thanos 团队在 v0.37.1 版本中修复了这个问题，具体修改为：

1. 仅当 limit 参数大于 0 时才设置该值
2. 对于未设置或值为 0 的情况，不再传递 limit 参数
3. 这样既保持了与新版本 Prometheus 的兼容性，又不会影响旧版本

临时解决方案

对于无法立即升级到 v0.37.1 的用户，可以考虑以下临时方案：

1. 回滚到 v0.36.1 版本
2. 升级 Prometheus 到 2.54 或更高版本
3. 等待 Prometheus 完成至少一个完整的数据块(block)写入(通常为2小时)

经验总结

这个案例为我们提供了几个重要的经验教训：

1. 版本升级时需注意组件间的兼容性，特别是参数传递的默认值
2. 监控系统的各个组件版本需要协调升级
3. 参数验证逻辑的变化可能在不经意间引入兼容性问题
4. 全面的集成测试应该覆盖不同版本组合的场景

结论

Thanos v0.37.1 已经彻底解决了这个问题。建议所有使用 v0.37.0 的用户尽快升级到修复版本，以确保监控系统的稳定运行。对于大型监控系统，升级前建议先在测试环境验证各组件间的兼容性。