Apache APISIX 3.9.0版本SSL握手问题分析与解决方案

问题背景

Apache APISIX作为一款高性能的API网关，在3.9.0版本升级过程中出现了一个值得关注的SSL握手问题。当用户从3.6.0版本升级到3.9.0版本后，部分HTTPS请求会出现SSL握手失败的情况，表现为"Broken pipe"错误和"bad decrypt"的SSL错误日志。

问题现象

升级到APISIX 3.9.0后，用户观察到以下典型现象：

1. 客户端请求失败，返回SSL相关错误：

* Send failure: Broken pipe
* LibreSSL SSL_write: LibreSSL/3.3.6: error:02FFF020:system library:func(4095):Broken pipe, errno 32

2. 服务端日志中出现SSL握手错误：

[alert] SSL_do_handshake() failed (SSL: error:1C800064:Provider routines::bad decrypt)

3. 问题表现为间歇性出现，并非所有请求都会失败，但失败率较高。

问题复现

通过Docker环境可以稳定复现该问题：

1. 初始部署APISIX 3.6.0版本
2. 配置包含上游(upstream)、服务(service)、路由(route)和SSL证书
3. 确认初始版本工作正常
4. 升级到3.9.0版本后，部分HTTPS请求开始失败

根本原因分析

经过深入分析，这个问题与APISIX 3.9.0版本中SSL相关组件的变更有关。具体表现为：

1. SSL配置兼容性问题：3.9.0版本对SSL处理逻辑进行了优化和调整，导致从旧版本迁移过来的SSL配置在某些情况下无法正常工作。

2. 证书加载机制变化：新版本可能改变了证书加载和验证的方式，使得从etcd中读取的旧版SSL配置无法被正确处理。

3. 握手协议差异：3.9.0版本可能使用了不同的SSL/TLS协议栈或加密套件，与旧版配置存在兼容性问题。

解决方案

针对这个问题，目前确认的有效解决方案是：

1. 重新创建SSL相关配置：在升级到3.9.0版本后，删除并重新创建所有SSL相关配置（包括upstream、service、route和ssl证书）。

2. 配置验证步骤：升级后增加一个验证步骤，确认所有HTTPS端点正常工作。

3. 升级前备份：在进行版本升级前，备份当前的SSL配置，以便出现问题时可以快速回滚。

最佳实践建议

为了避免类似问题，建议采用以下升级实践：

1. 分阶段升级：先升级到中间版本（如3.7.0、3.8.0），观察每个版本的兼容性。

2. 测试环境验证：在生产环境升级前，在测试环境完整验证所有API端点。

3. 监控SSL握手指标：升级后密切监控SSL握手成功率等关键指标。

4. 版本变更审查：仔细阅读目标版本的变更日志，特别是与SSL/TLS相关的变更。

总结

APISIX 3.9.0版本的SSL握手问题是一个典型的配置兼容性问题，通过重新创建SSL相关配置可以有效解决。这提醒我们在进行API网关升级时，需要特别关注安全相关组件的变更，并做好充分的测试和验证工作。对于生产环境，建议建立完善的升级检查清单和回滚机制，确保服务的连续性。