Apache SkyWalking OAP服务连接Elasticsearch集群的SSL配置问题分析

问题背景

在使用Apache SkyWalking OAP服务时，当尝试连接启用了HTTPS安全传输的Elasticsearch集群时，系统出现了连接失败的问题。从日志中可以清晰地看到，OAP服务尝试通过HTTP协议而非HTTPS协议访问Elasticsearch的健康检查接口，这导致了连接被拒绝。

错误现象分析

日志中显示的关键错误信息表明，OAP服务尝试通过http://es-quickstart-es-http:9200/_cluster/health地址进行健康检查，而实际上目标Elasticsearch集群已经启用了HTTPS安全传输（xpack.security.http.ssl.enabled=true）。这导致了以下错误链：

1. 首先出现ClosedSessionException异常，表明连接被异常关闭
2. 随后出现UnprocessedRequestException，表示请求未能被正常处理
3. 最终导致健康检查失败，系统报告"No healthy endpoint"

根本原因

问题的核心在于SkyWalking OAP服务的Elasticsearch客户端配置未能正确识别HTTPS协议。虽然用户在Helm chart安装时已经指定了elasticsearch.protocol=https参数，但系统内部仍然使用了HTTP协议进行初始连接。

解决方案

要解决这个问题，需要确保SkyWalking OAP服务能够正确使用HTTPS协议与Elasticsearch集群通信。以下是几种可能的解决方案：

1. 检查Helm chart参数配置： 确保所有与协议相关的参数都正确设置，包括：

   • elasticsearch.protocol=https
   • elasticsearch.config.scheme=https

2. 验证Elasticsearch集群配置： 确认Elasticsearch集群确实启用了HTTPS，并且证书配置正确。可以通过以下方式验证：

   • 直接使用curl命令测试HTTPS连接
   • 检查Elasticsearch的配置文件中的SSL相关设置

3. 检查证书信任链： 如果Elasticsearch使用的是自签名证书，可能需要配置OAP服务信任该证书。可以通过以下方式实现：

   • 将CA证书添加到OAP服务的信任库中
   • 配置OAP服务跳过证书验证（不推荐用于生产环境）

4. 网络连接检查： 确保OAP服务能够正确解析Elasticsearch的主机名，并且网络连接没有阻碍

配置示例

以下是一个完整的Helm chart配置示例，确保HTTPS连接正常工作：

oap:
  image:
    tag: 9.7.0
  storageType: elasticsearch
  replicas: 1

ui:
  image:
    tag: 9.7.0

elasticsearch:
  enabled: false
  protocol: https
  config:
    scheme: https
    host: es-quickstart-es-http
    port:
      http: 9200
    user: "elastic"
    password: "your-password"
    trustStorePath: "/path/to/truststore.jks"
    trustStorePass: "truststore-password"

深入技术细节

当SkyWalking OAP服务连接Elasticsearch时，会经历以下几个阶段：

1. 初始连接：服务首先尝试连接到配置的Elasticsearch端点
2. 健康检查：执行/_cluster/health检查以确认集群状态
3. 索引初始化：创建或验证SkyWalking所需的索引
4. 数据读写：开始正常的数据存储和查询操作

在HTTPS环境下，每个阶段都需要正确的SSL/TLS配置。特别是初始连接和健康检查阶段，如果协议配置不正确，会导致整个连接过程失败。

最佳实践建议

1. 生产环境配置：

   • 始终使用HTTPS协议
   • 使用有效的CA签名证书
   • 定期轮换证书和密码

2. 测试环境配置：

   • 可以使用自签名证书，但需确保所有服务都信任该证书
   • 考虑使用证书管理工具简化流程

3. 监控与告警：

   • 设置对Elasticsearch连接状态的监控
   • 配置适当的告警阈值

总结

Apache SkyWalking OAP服务与启用HTTPS的Elasticsearch集群集成时，需要特别注意协议配置的一致性。通过正确配置Helm chart参数和验证网络连接，可以确保系统稳定运行。对于生产环境，建议进行充分的测试和验证，确保所有安全配置都正确无误。