Katanemo/archgw项目中的LLM网关性能监控指标优化

在构建基于大语言模型(LLM)的服务时，性能监控是确保服务质量的关键环节。Katanemo/archgw项目近期对其LLM网关进行了性能指标监控的增强，特别是针对流式响应场景下的关键性能指标进行了系统化的采集和分析。

核心性能指标定义

项目团队定义了四个核心指标来全面评估LLM服务的性能表现：

1. 首令牌时间(TTFT)：从用户发送查询到接收到第一个输出令牌的时间间隔。这个指标直接影响用户体验，特别是在实时交互场景中尤为重要。

2. 令牌生成时间(TPOT)：生成每个输出令牌所需的时间。这个指标反映了模型持续输出内容的能力。

3. 总延迟：由TTFT加上TPOT乘以输出令牌数量计算得出，代表完整的请求响应时间。

4. 序列长度：包括输入序列长度(ISL)和输出序列长度(OSL)，分别表示输入和输出的令牌数量。

指标采集实现

在技术实现上，项目团队在LLM网关的流式处理上下文中精确插入了计时点：

• TTFT计时从请求到达网关开始，到从上游LLM接收到第一个令牌结束
• TPOT则记录每个令牌生成的时间间隔
• 序列长度通过令牌计数获得

所有指标均以毫秒为单位记录，并存储在专门设计的WasmMetrics结构中，确保数据的准确性和一致性。

统计分析维度

为了全面了解系统性能特征，项目实现了多时间维度的统计分析：

• 时间粒度：5分钟、15分钟、30分钟、1小时、24小时和7天
• 统计指标：平均值(p50)、90分位数(p90)、95分位数(p95)和99分位数(p99)

这种多维度分析能够帮助运维团队识别性能瓶颈，区分短期波动和长期趋势，为容量规划和性能优化提供数据支持。

技术价值

这些性能指标的加入使得：

1. 运维团队可以实时监控系统健康状态
2. 开发团队能够基于数据优化系统性能
3. 产品团队可以量化用户体验指标
4. 业务团队能够评估服务SLA达成情况

特别是在流式响应场景下，TTFT和TPOT指标的引入填补了传统监控方案在实时性评估方面的空白，为构建高性能LLM服务提供了坚实的数据基础。