kube-prometheus-stack中TLS握手错误的分析与解决思路

问题背景

在使用kube-prometheus-stack Helm图表部署到AWS EKS集群时，虽然整体功能正常，但在Prometheus Operator的日志中频繁出现TLS握手错误。具体表现为客户端向HTTPS服务器发送了HTTP请求的错误信息。

错误现象分析

从日志中可以观察到两个关键错误：

1. 主要错误信息显示"http: TLS handshake error from [IP:PORT]: remote error: tls: bad certificate"
2. 另一个相关警告显示服务器TLS客户端验证被禁用，原因是找不到CA证书文件

问题根源探究

客户端来源分析

通过kubectl命令查询集群中Pod的IP地址，可以定位到产生这些请求的客户端来源。根据用户反馈，这些IP地址可能属于：

1. Cilium的Envoy代理组件
2. Kubernetes API服务器
3. Prometheus自身的指标抓取请求

TLS配置问题

Prometheus Operator默认启用了TLS安全通信，但存在几个潜在问题：

1. 服务监控器(ServiceMonitor)可能需要显式配置TLS跳过验证
2. 准入控制Webhook可能没有正确配置集群CA证书
3. 某些组件(如Cilium)可能尝试以HTTP方式访问HTTPS端点

解决方案建议

1. 明确客户端身份

首先需要确定产生这些请求的客户端身份：

kubectl get pod -o custom-columns='NAMESPACE:.metadata.namespace,NAME:.metadata.name,IP:status.podIP'

通过比对日志中的IP地址，可以确认是哪个组件在发起请求。

2. 完善TLS配置

对于Prometheus Operator的Webhook服务，建议：

1. 确保正确配置了CA证书
2. 检查相关证书的签发和有效期
3. 验证服务端证书是否被集群信任

3. 特定组件的适配

对于Cilium等可能产生干扰的组件：

1. 检查其网络策略配置
2. 确认是否需要排除对Prometheus Operator端点的监控
3. 考虑为这些组件配置正确的TLS证书

最佳实践建议

1. 统一TLS策略：确保集群内所有组件使用一致的TLS配置
2. 证书管理：使用Cert-manager等工具自动化证书管理
3. 日志监控：建立对这些错误的持续监控机制
4. 版本兼容性：检查各组件版本间的兼容性，特别是安全相关功能

总结

kube-prometheus-stack中的TLS握手错误通常源于组件间的安全通信配置不一致。通过系统性地识别请求来源、完善TLS配置和遵循安全最佳实践，可以有效解决这类问题。对于生产环境，建议建立完善的证书管理和安全策略，确保监控系统的稳定性和安全性。