Text-Embeddings-Inference 高基数指标问题分析与解决方案

在分布式机器学习系统中，监控指标的高基数问题是一个常见的性能挑战。本文以Text-Embeddings-Inference项目v0.6.0版本中出现的te_batch_next_tokens_bucket指标异常为例，深入分析高基数指标问题的成因、影响及解决方案。

问题现象

在Text-Embeddings-Inference的监控系统中，te_batch_next_tokens_bucket指标出现了异常的高基数现象。正常情况下，这类直方图指标应该只有少量预定义的桶(bucket)，但实际观察到该指标产生了约10万个时间序列，其中le标签值显示为1697、1660、1696等大量离散值。

技术背景

Prometheus监控系统中，直方图类型的指标通过_bucket后缀和le标签(表示"小于或等于")来定义数值区间。理想情况下：

1. 开发者应预定义一组合理的桶边界
2. 每个边界值对应一个时间序列
3. 系统自动统计落入各区间的样本数量

问题分析

通过对问题的深入分析，可以确定以下技术要点：

1. 指标定义异常：te_batch_next_tokens_bucket指标本应使用固定的桶边界，但实际实现中可能动态生成了大量边界值

2. 性能影响：

   • 存储压力：每个唯一标签组合都会创建一个新的时间序列
   • 查询效率：高基数指标会显著降低Prometheus查询性能
   • 内存消耗：监控系统需要维护大量时间序列的索引

3. 问题定位：该问题仅影响特定指标，表明是局部实现问题而非架构设计缺陷

解决方案

Text-Embeddings-Inference团队在v1.0.0版本中通过以下方式解决了该问题：

1. 桶边界限制：对直方图指标的桶数量进行了严格限制
2. 合理预设：使用符合业务特点的固定桶边界值
3. 代码审查：确保所有直方图指标都遵循相同的实现规范

最佳实践建议

针对类似系统的监控指标设计，建议：

1. 预定义桶边界：根据业务数据的分布特点，预先设计合理的桶边界
2. 基数控制：避免使用高基数标签(如ID、哈希值等)作为指标标签
3. 性能测试：对监控系统进行压力测试，确保能处理预期的指标量级
4. 版本验证：升级后验证指标基数是否符合预期

总结

高基数指标问题在监控系统中不容忽视。Text-Embeddings-Inference项目的这个案例展示了如何通过合理的指标设计和技术改进来解决这类性能问题。对于开发者而言，理解监控指标的实现细节和性能特性，是构建稳定可观测系统的重要基础。