Grafana Tempo 标签搜索功能优化：引入结果数量限制参数

背景

在分布式追踪系统Grafana Tempo中，标签(tag)和标签值(tag value)搜索是核心功能之一。随着系统规模的扩大，用户可能会遇到查询返回过多结果导致性能问题的情况。虽然Tempo已经提供了一些服务端配置选项来限制查询影响，但缺乏客户端可控的结果数量限制机制。

现有机制分析

当前Tempo通过两个服务端配置参数来控制标签查询的影响范围：

1. max_bytes_per_tag_values_query：限制每个标签值查询的最大字节数
2. max_blocks_per_tag_values_query：限制每个标签值查询涉及的最大块数

这些配置虽然能防止系统过载，但缺乏灵活性，无法满足不同用户对结果数量的个性化需求。

功能改进方案

本次改进计划为Tempo的标签搜索API添加limit查询参数，允许调用方明确指定期望返回的最大结果数量。具体实现涉及两个API端点：

1. /api/v2/search/tags?limit=<int>：限制返回的标签数量
2. /api/v2/search/tag/<tag>/values?limit=<int>：限制返回的特定标签值数量

技术实现考量

在实现过程中，开发团队深入讨论了几个关键技术点：

1. 标签作用域处理：Tempo的标签按作用域(scope)分组返回，包括资源(resource)、事件(event)、链接(links)等。简单的全局数量限制可能导致某些作用域的结果被完全排除。

2. 实现方案选择：

   • 方案A：全局限制，简单但可能导致作用域结果不均衡
   • 方案B：按作用域分别限制，更合理但实现复杂度略高
   • 方案C：忽略固有(intrinsic)标签的限制，专注于用户自定义标签

3. 结果截断通知：当结果因限制被截断时，系统应通过某种机制通知调用方，避免误认为获得了完整结果。

最终设计决策

经过讨论，团队决定采用以下设计原则：

1. 对于标签搜索端点(/api/v2/search/tags)，采用按作用域分别限制的方式。即指定的limit值适用于每个作用域内的标签数量限制。

2. 对于标签值搜索端点(/api/v2/search/tag/<tag>/values)，由于不涉及作用域分组，直接应用全局数量限制。

3. 固有(intrinsic)标签由于其数量有限且稳定，不纳入限制范围。

实现影响范围

该功能的实现将涉及Tempo架构的多个层次：

1. 查询前端(Query Frontend)：负责解析limit参数并传递给下游组件
2. 协议层(Proto)：可能需要扩展协议定义以支持limit参数
3. 查询器(Querier)：处理limit参数并应用于查询逻辑
4. 接收器(Ingester)：在实时数据查询中应用相同的限制逻辑

预期效益

这一改进将为Tempo用户带来以下好处：

1. 更好的查询控制：用户可以根据自身需求精确控制返回结果数量
2. 性能优化：减少不必要的数据传输和处理开销
3. 系统稳定性：防止超大结果集导致的系统资源耗尽
4. 用户体验提升：前端应用可以更高效地处理有限结果集

总结

通过为Grafana Tempo的标签搜索功能添加结果数量限制参数，系统在保持现有功能的同时，为用户提供了更精细的查询控制能力。这一改进既考虑了实现的技术可行性，又充分照顾了实际使用场景的需求，是Tempo查询功能优化的重要一步。