kube-prometheus-stack中使用Workload Identity进行Azure服务发现的故障排查

问题背景

在使用kube-prometheus-stack监控AKS集群时，用户尝试通过Azure服务发现功能监控Azure虚拟机。用户配置了专用的Managed Identity作为Workload Identity，期望Prometheus使用该身份进行认证，但实际运行时却错误地使用了kubelet的Managed Identity。

问题分析

初始配置问题

用户最初的配置使用了authentication_method: ManagedIdentity，这种方式在Azure环境中存在以下限制：

1. 它只能使用附加到VM的Managed Identity
2. 无法直接使用Workload Identity
3. 默认会回退到kubelet的Managed Identity

解决方案探索

正确的做法是使用authentication_method: SDK，这种方式可以：

1. 支持Workload Identity认证
2. 利用Azure SDK的标准认证流程
3. 与AKS的Workload Identity功能无缝集成

详细配置示例

prometheus:
  serviceAccount:
    annotations:
      azure.workload.identity/client-id: <客户端ID>
  prometheusSpec:
    podMetadata:
      labels:
        azure.workload.identity/use: "true"
    additionalScrapeConfigs:
    - job_name: azure-vm-monitor
      azure_sd_configs:
        - authentication_method: SDK
          subscription_id: <订阅ID>
          resource_group: <资源组>
          port: 9100
          refresh_interval: 30s

可能遇到的问题

1. 认证失败：确保Workload Identity已正确配置并分配了必要的RBAC角色
2. Prometheus崩溃：某些Prometheus版本在使用SDK认证时可能出现panic，这是已知问题
3. 权限不足：确保Managed Identity具有对目标资源组的读取权限

最佳实践建议

1. 为Prometheus创建专用的Managed Identity
2. 分配最小必要权限原则
3. 测试认证方式时先使用Azure CLI验证身份有效性
4. 监控Prometheus日志中的认证错误
5. 考虑使用较新的Prometheus版本以避免已知问题

总结

在AKS环境中使用kube-prometheus-stack进行Azure服务发现时，正确配置Workload Identity是关键。通过使用SDK认证方式而非传统的ManagedIdentity方式，可以实现更灵活、更安全的服务发现机制。遇到问题时，应仔细检查身份配置、权限分配以及Prometheus版本兼容性。