OpenSearch-Dashboards集成Prometheus数据源时的证书问题解析与解决方案

问题背景

在使用OpenSearch-Dashboards 2.19.1版本集成Prometheus 3.2.1作为数据源时，用户遇到了一个典型的安全连接问题。当通过Nginx Ingress暴露服务后，虽然数据源配置成功，但在查询时出现了"Failed to parse server certificates"的错误，导致无法获取任何指标数据。

技术分析

这个问题的核心在于OpenSearch-Dashboards与Prometheus之间的HTTPS连接证书验证失败。从错误日志中可以明确看到：

1. 数据源连接配置成功
2. 查询请求能到达Prometheus
3. 但在建立安全连接时证书解析失败

这种情况通常发生在以下几种场景：

• 自签名证书未正确配置信任链
• 证书过期或格式不正确
• 中间件(如Nginx)的证书配置与后端服务不匹配
• 缺少必要的认证信息

解决方案

经过验证，最有效的解决方案是配置Prometheus的基础认证(Basic Auth)。具体实现步骤如下：

1. 修改Prometheus配置：

server:
  extraArgs:
    web.config.file: /etc/config/web.config.yml
  probeHeaders:
    - name: Authorization
      value: Basic 'dGVzdDp0ZXN0'  # 这是"test:test"的Base64编码
serverFiles:
  web.config.yml:
    basic_auth_users:
      test: '$2b$12$/u2Vwu7QRcycE9JwJ6SzWOkdZMxIGiajWL3rakyGaXRMUX9hPncJS'  # bcrypt加密的密码

2. OpenSearch-Dashboards数据源配置： 需要在创建数据源时同时提供认证信息，可以通过Dev Tools执行：

POST _plugins/_query/_datasources 
{
    "name" : "prometheus_ds",
    "connector": "prometheus",
    "properties" : {
        "prometheus.uri" : "https://prometheus.example.com",
        "prometheus.auth.type": "basic",
        "prometheus.auth.username": "test",
        "prometheus.auth.password": "test"
    }
}

深入理解

这个解决方案之所以有效，是因为：

1. Basic Auth提供了额外的安全层，即使证书验证有问题，也能建立可信连接
2. 现代Prometheus版本推荐使用web.config.yml进行认证配置
3. bcrypt加密保证了密码存储的安全性
4. 通过Ingress的probeHeaders配置确保了健康检查也能通过认证

最佳实践建议

1. 对于生产环境，建议：

   • 使用有效的CA签名证书
   • 配置更复杂的认证机制
   • 定期轮换凭证

2. 开发环境可以考虑：

   • 配置证书信任链
   • 使用更简单的认证方式
   • 明确记录安全配置

3. 监控方面：

   • 设置连接失败告警
   • 定期检查证书有效期
   • 监控认证失败次数

总结

OpenSearch-Dashboards与Prometheus的集成在安全环境下可能会遇到证书问题。通过合理配置基础认证，不仅可以解决证书解析问题，还能增强系统的安全性。这种解决方案既适用于临时调试，也适用于长期的生产环境部署，是处理类似连接问题的有效方法。

对于企业级用户，建议进一步研究OpenSearch的安全插件和Prometheus的TLS配置，以获得更完善的安全保障。