Metaflow服务连接PostgreSQL数据库的SSL配置问题解析

问题背景

在使用Metaflow服务时，用户遇到了502错误，提示元数据请求失败。经过排查发现，这是由于Metaflow服务无法连接到PostgreSQL数据库导致的。更具体的原因是数据库从PostgreSQL 11升级到15后，默认启用了SSL强制认证，而Metaflow服务没有正确配置SSL连接参数。

错误现象分析

当用户尝试运行Metaflow流程时，服务返回502错误，并显示"unable to get db version via goose"的错误信息。深入查看日志后发现更详细的错误：

Exception: unable to get db version via goose: goose run: failed to connect to `host=<host> user=<username> database=<dbname>`: server error (FATAL: no pg_hba.conf entry for host , user, database , no encryption (SQLSTATE 28000))

这表明Metaflow服务尝试连接到PostgreSQL数据库时，由于缺乏SSL配置而被拒绝连接。

根本原因

PostgreSQL 15与11版本的一个重要区别在于默认参数组中的force_ssl设置。PostgreSQL 15默认启用了SSL强制认证，而之前的11版本则没有。当数据库升级后，所有客户端连接都必须使用SSL加密，否则会被服务器拒绝。

解决方案

要解决这个问题，需要从两个方面入手：

1. 升级Metaflow版本：将Metaflow升级到2.4.12或更高版本，这些版本支持通过环境变量配置数据库SSL连接参数。

2. 配置SSL连接参数：Metaflow服务支持以下环境变量来配置SSL连接：

ssl_mode = os.environ.get("MF_METADATA_DB_SSL_MODE")
ssl_cert_path = os.environ.get("MF_METADATA_DB_SSL_CERT_PATH")
ssl_key_path = os.environ.get("MF_METADATA_DB_SSL_KEY_PATH")
ssl_root_cert_path = os.environ.get("MF_METADATA_DB_SSL_ROOT_CERT")

在实际部署时，需要注意证书文件的路径问题。由于Metaflow服务运行在Docker容器中，证书文件需要：

• 通过Docker卷挂载的方式使容器能够访问主机上的证书文件
• 在环境变量中指定容器内部的挂载路径

实施建议

1. 证书文件管理：将SSL证书文件放置在EC2实例的固定位置，如/etc/metaflow/ssl/目录下。

2. Docker运行命令：更新Docker运行命令，添加卷挂载和环境变量：

docker run -v /etc/metaflow/ssl:/etc/metaflow/ssl \
  -e MF_METADATA_DB_SSL_MODE=verify-full \
  -e MF_METADATA_DB_SSL_ROOT_CERT=/etc/metaflow/ssl/ca.crt \
  -e MF_METADATA_DB_SSL_CERT_PATH=/etc/metaflow/ssl/client.crt \
  -e MF_METADATA_DB_SSL_KEY_PATH=/etc/metaflow/ssl/client.key \
  ...其他参数...

3. 测试连接：在部署前，建议先使用psql命令行工具测试SSL连接是否正常，确认证书和配置无误。

总结

数据库安全要求的提高带来了配置上的变化，特别是在SSL/TLS加密方面。Metaflow作为数据科学工作流工具，其元数据服务需要与数据库建立安全连接。通过合理配置SSL参数和升级到支持这些功能的版本，可以确保服务在强制SSL的环境下正常运行。这也提醒我们在进行数据库升级时，需要全面评估对依赖服务的影响，特别是安全相关的配置变更。