在Mizu项目中实现API流量去重分析的Unique Helper设计

背景与需求分析

在现代微服务架构中，API流量分析是系统监控和调试的重要环节。Mizu作为一个流量分析工具，经常需要处理大量重复的API请求数据。用户反馈显示，他们经常需要查看API清单，但实际只需要每个API的少量代表性样本即可。

传统解决方案存在两个主要痛点：

1. 完全去重会丢失请求频率信息
2. 简单采样可能导致关键变体被遗漏

Unique Helper设计原理

Unique Helper的核心思想是基于指定字段的组合值进行条件去重，同时保留部分重复样本以供分析。其设计特点包括：

1. 确定性算法：不依赖随机采样，确保每次查询结果一致
2. 组合键支持：支持多字段组合判定唯一性
3. 可控样本量：可配置每个唯一组合保留的样本数量

语法设计与示例

基本语法格式为： unique(term1, term2, ..., termN, sampleCount)

单字段去重示例

http and unique("request.pathSegments[3]", 3)

此查询将：

• 筛选HTTP流量
• 按路径第4段(pathSegments[3])分组
• 每组最多显示3个样本

多字段组合去重

http and unique("request.pathSegments[0]", "request.method", 2)

此查询将：

• 筛选HTTP流量
• 按路径第一段+请求方法组合分组
• 每组最多显示2个样本

实现技术要点

1. 字段提取器：支持动态提取请求中的各种字段，包括：

   • 路径片段
   • HTTP头
   • 请求方法
   • 查询参数

2. 哈希索引：使用组合字段值的哈希作为唯一键

3. 计数器管理：为每个唯一组合维护样本计数器

4. 查询优化：将Unique条件尽早应用到过滤管道中

典型应用场景

1. API清单生成：快速查看系统中所有API端点

   unique("request.path", "request.method", 1)
   

2. 参数变体分析：检查同一API的不同参数组合

   unique("request.path", "request.queryParams", 2)
   

3. 跨服务调用分析：

   unique("src.namespace", "dst.namespace", "request.path", 3)
   

性能考量

1. 内存优化：使用布隆过滤器预筛选可能重复项
2. 并行处理：对大数据集采用分片处理
3. 缓存机制：缓存常用字段的提取结果

扩展思考

未来可考虑的功能增强：

1. 基于时间窗口的去重
2. 支持正则表达式匹配的字段提取
3. 与统计功能结合，自动计算重复率

Unique Helper的设计体现了Mizu项目"简单但强大"的理念，通过精心设计的基础功能，为用户提供灵活的流量分析能力，同时保持系统的轻量和高效。