Prometheus Operator中ScrapeConfig配置参数导致404错误的解决方案

问题背景

在使用Prometheus Operator监控Kubernetes集群中的Rook Ceph存储系统时，很多用户会遇到一个常见问题：虽然直接访问Rook Ceph的metrics端点可以获取指标数据，但当通过Prometheus Operator配置监控后，Prometheus却报告"server returned HTTP status 404 Not Found"错误。

问题分析

这个问题的根源在于ScrapeConfig配置中的参数设置。在Prometheus Operator的配置中，params字段会自动将参数附加到请求URL中。例如：

params:
  module: [http]

这样的配置会导致Prometheus实际请求的URL变为： http://rook-ceph-mgr.rook-ceph:9283/metrics?module=http

而Rook Ceph的metrics端点并不支持module参数，因此返回404错误。

解决方案

正确的配置应该是：

apiVersion: monitoring.coreos.com/v1alpha1
kind: ScrapeConfig
metadata:
  name: node-exporter
  namespace: monitoring
spec:
  metricsPath: /metrics
  scheme: HTTP
  staticConfigs:
    - labels:
        job: rook-ceph
      targets: 
        - rook-ceph-mgr.rook-ceph:9283

关键修改点：

1. 移除了params字段，避免不必要的查询参数被附加到请求URL
2. 显式指定scheme为HTTP（虽然HTTP是默认值，但显式声明更清晰）

深入理解

Prometheus Operator的ScrapeConfig资源是对Prometheus原生配置的封装。在原生Prometheus配置中，scrape_config部分可以有多个参数控制如何抓取指标：

• metricsPath：指定指标端点路径，默认为/metrics
• scheme：指定使用HTTP还是HTTPS协议
• params：可以添加额外的查询参数

对于像Rook Ceph这样提供标准Prometheus格式指标的服务，通常不需要额外的查询参数。params字段更多用于需要特殊处理的情况，比如：

• 使用blackbox exporter时需要指定module
• 某些exporter支持通过参数过滤指标

最佳实践

1. 对于标准Prometheus格式的指标端点，保持配置简单，避免不必要的参数
2. 使用kubectl port-forward测试端点是否可访问
3. 启用Prometheus的debug日志级别，查看实际请求的URL
4. 在修改配置后，检查Prometheus的/targets页面确认状态

总结

Prometheus Operator提供了强大的Kubernetes原生监控配置能力，但需要正确理解各个配置字段的作用。对于简单的指标抓取场景，保持配置简洁往往是最佳选择。当遇到404错误时，首先检查实际请求的URL是否符合预期，这能快速定位问题根源。