Apache TrafficServer 10.1版本中源端连接复用问题分析

Apache TrafficServer是一款高性能的开源网络代理和缓存服务器。在10.1版本中，用户报告了一个关键的连接复用问题，影响了系统的整体性能表现。本文将深入分析该问题的成因、影响范围以及解决方案。

问题现象

在生产环境中部署TrafficServer 10.1版本后，运维人员观察到以下两个关键指标出现异常：

1. 出站请求数(proxy.process.http.outgoing_requests)持续增长
2. 服务器总连接数(proxy.process.http.total_server_connections)居高不下

这些现象表明系统无法有效复用与源站服务器建立的连接，导致每次请求都需要创建新的TCP连接，增加了网络延迟和服务器负载。

问题根源

经过技术团队深入分析，发现问题源于两个关键代码变更：

1. 移除了NetVConnection中的服务器名称相关功能
2. 清理了SSLSNIConfig相关代码

这些变更影响了连接池的工作机制。具体来说，当连接池尝试为特定服务器名称查找可用连接时，由于变更后的代码无法正确识别连接关联的服务器名称，导致连接池始终认为没有匹配的连接可用，从而不断创建新连接。

技术细节

在变更前的实现中，系统通过NetVConnection::get_sni_servername()方法获取服务器名称，该方法内部调用OpenSSL的SSL_get_servername()函数。这个OpenSSL函数对入站和出站连接都有效。

变更后，系统改用TLSSNISupport::get_sni_server_name方法，但该方法仅适用于入站连接，因为其依赖的_sni_server_name成员变量只在处理入站连接时被设置。对于出站连接，虽然调用了SSL_set_tlsext_host_name设置服务器名称，但这些信息并未被TLSSNISupport记录，导致后续无法正确检索。

解决方案

技术团队提出了两种解决方案：

1. 让TLSSNISupport在调用SSL_set_tlsext_host_name时记录服务器名称，确保出站连接也能正确维护服务器名称信息。

2. 在TLSSNISupport中提供新的方法，将SSL_set_tlsext_host_name的调用封装起来，同时内部记录服务器名称。

最终，团队通过回滚相关变更暂时解决了问题，同时计划在后续版本中实现更完善的解决方案。

影响与启示

这个问题提醒我们：

1. 网络连接池的实现细节对系统性能有重大影响
2. 入站和出站连接的对称性处理需要特别注意
3. 在修改核心网络组件时，需要全面考虑各种使用场景

对于使用TrafficServer的用户，如果遇到类似的连接复用问题，可以检查服务器名称相关的处理逻辑，确保出站连接也能正确维护和提供服务器名称信息。