Prometheus Blackbox Exporter 探针配置问题解析与解决方案

问题背景

在使用Prometheus Blackbox Exporter的Helm Chart部署时，当用户尝试为Pod配置多个网络接口（通过Multus CNI实现）时，发现默认的健康检查机制无法正常工作。默认配置使用的是HTTP GET方式访问/-/healthy端点，但在多IP环境下会出现问题。

问题现象

用户尝试将健康检查方式从HTTP GET改为exec命令方式，使用wget工具从容器内部访问健康端点。然而在部署时遇到了Kubernetes报错：

The Deployment "prometheus-blackbox-exporter" is invalid: 
* spec.template.spec.containers[0].livenessProbe.httpGet: Forbidden: may not specify more than 1 handler type

技术分析

这个问题的根源在于Kubernetes探针配置的机制。Kubernetes的健康检查（包括livenessProbe和readinessProbe）支持多种检查方式：

• HTTP GET请求
• TCP Socket检查
• 执行命令（exec）

但Kubernetes不允许在同一个探针中同时配置多种检查方式。当用户尝试添加exec方式时，Helm Chart中默认的httpGet配置仍然存在，导致Kubernetes验证失败。

解决方案

正确的做法是显式地将原有的httpGet设置为null，然后再添加新的exec配置。例如：

livenessProbe:
  httpGet: null  # 显式清除默认的HTTP GET配置
  failureThreshold: 3
  initialDelaySeconds: 30
  periodSeconds: 10
  successThreshold: 1
  timeoutSeconds: 15
  exec:
    command:
      - sh
      - "-c"
      - "wget -O - http://localhost:9115/-/healthy"

这种配置方式明确告诉Kubernetes：

1. 不使用httpGet方式（通过设置为null）
2. 使用exec方式执行健康检查

深入理解

为什么默认HTTP检查在多IP环境下失效

在多网络接口环境下，服务可能绑定到特定IP地址，而默认的HTTP检查可能没有明确指定IP，导致检查失败。使用localhost可以确保总是检查本地容器内的服务状态。

exec命令的注意事项

使用wget进行健康检查时，需要注意：

1. 确保容器镜像中包含wget工具
2. 使用-O -参数将输出重定向到标准输出，避免创建文件
3. 通过sh -c执行命令可以处理更复杂的命令逻辑

最佳实践建议

1. 在多网络环境部署时，优先考虑使用localhost进行容器内健康检查
2. 修改探针类型时，一定要清除原有配置
3. 考虑添加适当的initialDelaySeconds，给容器足够的启动时间
4. 根据实际需求调整failureThreshold和periodSeconds参数

总结

通过正确配置探针检查方式，可以解决Prometheus Blackbox Exporter在多网络环境下的健康检查问题。关键在于理解Kubernetes探针配置的工作机制，以及如何在不同环境下选择合适的健康检查策略。这种解决方案不仅适用于Blackbox Exporter，也可以应用于其他需要在复杂网络环境下运行的Kubernetes工作负载。