Thanos接收器在ext4文件系统上运行时遇到的压缩问题分析

问题背景

在使用Thanos接收器组件(v0.35.0-0.35.1)时，多个用户报告了类似的压缩失败问题。该问题表现为接收器在处理时间序列数据时，会随机出现"out-of-order series"错误，导致压缩操作失败。这种错误会引发内存持续增长，最终导致OOM(内存不足)错误，使容器进入崩溃循环。

问题现象

主要错误日志显示为：

compaction failed: add series: out-of-order series added with label set...

当出现此错误时，接收器会持续积累数据而无法完成压缩，表现为：

1. 内存使用量持续上升
2. 最终导致OOM错误
3. 容器进入崩溃循环
4. 唯一解决方案是删除WAL(预写日志)数据

根本原因分析

经过社区讨论和问题排查，发现该问题与Thanos的"out-of-order"(乱序)功能有关。该功能目前仍处于实验阶段，存在已知和未知的稳定性问题。具体表现为：

1. 乱序数据验证机制存在缺陷，某些情况下允许无效数据通过初始验证
2. 这些无效数据在后续压缩阶段会被检测到，导致整个压缩操作失败
3. 压缩失败导致数据无法及时清理，内存持续增长

解决方案

目前推荐的解决方案是：

1. 禁用out-of-order功能：这是最直接的解决方案，因为该功能尚未达到生产环境稳定性要求

2. 清理已有数据：

   • 对于接收器本地数据：删除WAL目录内容
   • 对于已上传到对象存储的乱序块：需要手动删除这些块数据

3. 监控措施：

   • 设置head_series数量告警
   • 监控内存使用情况

技术建议

对于生产环境部署，建议：

1. 避免启用实验性功能，除非有明确的测试和回滚计划
2. 设置合理的保留策略(如6小时)，让旧数据自动过期
3. 确保有足够的内存缓冲来处理数据积压情况
4. 密切监控压缩操作的状态和成功率

未来展望

Thanos社区正在持续改进乱序数据支持功能。待该功能达到稳定状态后，将能更好地处理乱序时间序列数据，同时避免此类压缩失败问题。建议用户关注后续版本更新，并在测试环境中验证新版本的功能稳定性后再考虑在生产环境中启用相关功能。