OpenTelemetry-Python 自动检测中404错误的排查与解决

问题背景

在使用OpenTelemetry Collector（版本v0.109.0）与Kubernetes（版本v1.28.9）环境集成时，用户遇到了一个典型的HTTP 404错误。这个错误出现在Collector尝试导出遥测数据到Azure Monitor的过程中，具体表现为日志中频繁出现"Response: 404"的调试信息。

错误现象分析

当启用Pod的自动检测功能后，Collector日志中会出现以下关键错误信息：

2024-10-09T05:01:24.230Z debug azuremonitorexporter@v0.109.0/factory.go:139 Response: 404 {"kind": "exporter", "data_type": "logs", "name": "azuremonitor"}

这个404状态码表明Collector尝试访问的Azure Monitor端点不存在或不可达。在分布式追踪系统中，这类错误通常意味着配置不匹配或协议设置不当。

根本原因

经过深入分析，发现问题主要源于以下几个方面：

1. 协议不匹配：Python自动检测默认使用HTTP/proto协议，而Collector的gRPC端点（4317端口）期望的是gRPC协议。

2. 端口配置错误：Python检测器默认将数据发送到4318端口（HTTP端点），但配置中指定了4317端口（gRPC端点）。

3. 导出器冲突：未明确禁用不需要的指标导出器，可能导致额外的导出尝试。

解决方案

通过调整Instrumentation资源的配置，可以完美解决这个问题。以下是经过验证的有效配置方案：

apiVersion: opentelemetry.io/v1alpha1
kind: Instrumentation
metadata:
  name: python-demo-instrumentation
spec:
  env:
    - name: OTEL_METRICS_EXPORTER
      value: none
    - name: OTEL_EXPORTER_OTLP_PROTOCOL
      value: grpc
  exporter:
    endpoint: http://otel-collector.azure-arc.svc.cluster.local:4317
  propagators:
    - tracecontext
    - baggage
  sampler:
    type: parentbased_traceidratio
    argument: "1"
  python:
    env:
      - name: OTEL_METRICS_EXPORTER
        value: none
      - name: OTEL_EXPORTER_OTLP_ENDPOINT
        value: http://otel-collector.azure-arc.svc.cluster.local:4318

配置说明

1. 协议明确指定：通过设置OTEL_EXPORTER_OTLP_PROTOCOL=grpc确保使用正确的协议。

2. 端口正确配置：Python特定配置中使用4318端口对应HTTP协议，而全局配置中使用4317端口对应gRPC协议。

3. 指标导出器禁用：明确设置OTEL_METRICS_EXPORTER=none避免不必要的指标导出尝试。

4. 采样率设置：使用parentbased_traceidratio采样器并设置比率为1，确保所有追踪数据都被采集。

最佳实践建议

1. 始终明确指定协议类型，避免依赖默认值。

2. 对于Python应用，特别注意其默认行为与其它语言SDK的差异。

3. 在生产环境中，建议逐步调整采样率，避免产生过多遥测数据。

4. 定期检查Collector日志，及时发现并解决类似的导出问题。