Apache APISIX 3.9.0版本SSL证书迁移问题分析与解决方案

问题背景

在Apache APISIX网关从3.6.0版本升级到3.9.0版本的过程中，部分用户遇到了SSL握手失败的问题。具体表现为API请求时出现"Broken pipe"错误和SSL解密失败的错误日志。这个问题在版本升级过程中出现，但在重新创建SSL证书配置后问题消失。

问题现象

升级到APISIX 3.9.0后，用户观察到以下典型现象：

1. 客户端请求时出现SSL连接错误：

* Send failure: Broken pipe
* LibreSSL SSL_write: LibreSSL/3.3.6: error:02FFF020:system library:func(4095):Broken pipe, errno 32

2. APISIX服务端日志显示SSL握手失败：

[alert] SSL_do_handshake() failed (SSL: error:1C800064:Provider routines::bad decrypt)

3. 问题表现为间歇性出现，并非所有请求都会失败，但失败率较高。

根本原因分析

经过深入调查，发现这个问题与APISIX 3.9.0版本中OpenSSL的升级有关。APISIX 3.9.0开始使用OpenSSL 3.2.0版本，而之前的3.6.0版本使用的是较旧的OpenSSL版本。

OpenSSL 3.x系列引入了新的提供者(Provider)架构，对加密算法的处理方式有所改变。当从旧版本迁移SSL证书配置时，新版本可能无法正确解析旧格式的证书或密钥，特别是在以下情况下：

1. 证书或私钥使用了特定的加密算法或格式
2. 私钥可能使用了旧版的加密标准
3. 证书链的存储方式与新版OpenSSL不兼容

解决方案

针对这个问题，我们推荐以下解决方案：

1. 重新创建SSL配置

最直接的解决方法是删除原有的SSL配置并重新创建：

# 删除旧SSL配置
curl -X DELETE http://127.0.0.1:9180/apisix/admin/ssls/ssl

# 重新创建SSL配置
curl -X PUT http://127.0.0.1:9180/apisix/admin/ssls/ssl \
-H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' \
-d '{
    "cert": "../certs/example.pem",
    "key": "../certs/example.key",
    "snis": ["example.com"]
}'

2. 检查并更新证书格式

确保证书和私钥使用兼容的格式：

• 私钥建议使用PKCS#8格式而非传统的PKCS#1格式
• 检查证书链是否完整
• 确保没有使用已被弃用的加密算法

3. 版本升级最佳实践

在升级APISIX版本时，建议遵循以下步骤：

1. 备份当前配置
2. 测试新版本在独立环境中的表现
3. 准备回滚方案
4. 升级后验证所有关键功能
5. 特别注意SSL/TLS相关配置的验证

技术细节

OpenSSL 3.x引入的提供者架构带来了以下变化：

1. 默认提供者包括default、legacy和FIPS
2. 某些传统算法被移到了legacy提供者中
3. 加密操作的处理方式更加模块化

这些变化可能导致旧版创建的证书在新环境下无法正确解析，特别是当：

• 使用了传统算法（如RC4、MD5等）
• 私钥使用了特定的编码格式
• 证书链中存在兼容性问题

预防措施

为避免类似问题，建议：

1. 在开发/测试环境先行验证版本升级
2. 保持证书和密钥使用最新推荐格式
3. 定期更新证书和密钥
4. 关注APISIX版本发布说明中的重大变更

总结

APISIX 3.9.0版本由于底层OpenSSL的升级，对SSL证书的处理方式有所改变，导致从旧版本迁移时可能出现SSL握手问题。通过重新创建SSL配置或更新证书格式可以有效解决这个问题。在系统升级过程中，特别是涉及加密和安全组件的升级时，需要格外注意兼容性问题，并做好充分的测试和验证工作。