InfluxDB 3.0 中 Parquet 缓存的内存管理与背压机制优化

在 InfluxDB 3.0 的开发过程中，开发团队发现现有的 Parquet 缓存机制存在一个关键问题：系统缺乏有效手段来防止大量缓存请求导致的内存过度使用。这个问题在数据库高负载情况下尤为明显，可能引发内存溢出等严重问题。

问题本质分析

Parquet 缓存作为 InfluxDB 3.0 的重要组件，负责存储查询过程中频繁访问的数据文件。当前的实现存在两个主要缺陷：

1. 缓存准入控制不足：系统无法在获取文件前预估其大小，导致无法做出合理的缓存决策
2. 缺乏主动回收机制：当系统内存紧张时，无法主动释放不再需要的缓存项

解决方案设计

针对这些问题，开发团队提出了两个核心改进方向：

首先，在缓存请求(CacheRequest)中强制要求包含文件大小信息。这一改进使得缓存管理器能够：

• 在获取文件前评估当前内存状态
• 决定是否需要先执行缓存清理
• 拒绝过大的文件直接进入缓存

其次，引入显式的回收请求(EvictionRequest)机制。该机制允许：

• 主动标记不再需要的缓存项
• 按需执行精确的缓存回收
• 实现更精细化的内存控制

实现细节与演进

在实际开发过程中，这些改进被进一步细化和完善。最终的实现方案体现在两个关键特性上：

1. 缓存准入控制：通过文件大小预判，系统现在可以智能地决定是否接受缓存请求，或触发先期清理
2. 主动回收接口：提供了明确的缓存回收API，使系统能够在内存压力下主动释放资源

这些改进显著提升了 InfluxDB 3.0 在高负载情况下的稳定性，特别是在处理大规模时间序列数据时，有效防止了内存耗尽的情况发生。通过精细化的内存管理，系统现在能够更好地平衡性能与资源消耗，为生产环境部署提供了更可靠的保障。