解决Kotaemon项目中Milvus向量存储的HTTPS证书验证问题

背景介绍

在使用Kotaemon项目与Milvus向量数据库集成时，开发者遇到了一个典型的HTTPS证书验证失败问题。这个问题发生在Docker容器环境中，当尝试通过SSL/TLS连接Milvus服务器时，系统抛出了SSL_ERROR_SSL: error:1000007d:SSL routines:OPENSSL_internal:CERTIFICATE_VERIFY_FAILED错误。

问题分析

证书验证失败通常由以下几个原因导致：

1. 服务器使用的是自签名证书，而非公共CA签发的证书
2. 证书链不完整，缺少中间CA证书
3. 证书的CN(Common Name)或SAN(Subject Alternative Name)与服务器域名不匹配
4. 系统时间不正确导致证书有效期验证失败
5. 容器环境中缺少必要的根证书包

在Kotaemon项目中，这个问题特别棘手，因为证书验证是由底层的Milvus客户端库处理的，而不是直接暴露给应用层。

尝试过的解决方案

开发者尝试了两种常见的解决方案：

1. 将证书添加到容器信任链：

   • 在Dockerfile中安装ca-certificates包
   • 将自定义证书复制到/usr/local/share/ca-certificates/
   • 运行update-ca-certificates命令更新证书链
   • 设置REQUESTS_CA_BUNDLE环境变量指向系统证书文件

2. 在Milvus客户端配置中指定SSL选项：

   • 尝试通过MilvusVectorStore的构造函数传递SSL配置
   • 指定root_certificate参数指向系统证书文件

然而，这两种方法都未能解决问题，表明问题可能出在更深层次的网络连接层面。

最终解决方案

开发者最终采用了端口转发的方法解决了这个问题。具体来说：

1. 由于Milvus服务器部署在OpenShift环境中，直接通过HTTPS连接会遇到证书问题
2. 使用OpenShift命令行工具(oc)创建了一个端口转发通道
3. 通过本地端口转发绕过HTTPS证书验证问题

这种方法本质上是通过建立一条不加密的本地隧道来规避SSL/TLS证书验证，虽然解决了连接问题，但从安全角度考虑，这只适合在开发和测试环境中使用。

安全建议

对于生产环境，建议采用以下更安全的解决方案：

1. 正确配置服务器证书：

   • 使用公共CA签发的有效证书
   • 确保证书包含正确的SAN条目
   • 保持证书链完整

2. 容器环境配置：

   • 在构建镜像时正确安装所有必要的CA证书
   • 考虑使用专门的证书管理工具如cert-manager

3. 客户端配置：

   • 如果必须使用自签名证书，确保客户端能正确加载和验证该证书
   • 在Milvus客户端配置中明确指定信任的CA证书

总结

Kotaemon项目与Milvus集成的证书问题展示了在容器化环境中处理HTTPS连接的典型挑战。虽然端口转发提供了一种快速解决方案，但长期来看，正确配置证书才是更可持续和安全的方法。开发者应当根据具体环境需求，在便捷性和安全性之间找到平衡点。