Linkerd-viz 集成外部 Prometheus 的实践指南

背景介绍

Linkerd 作为一款轻量级的服务网格解决方案，其可视化组件 linkerd-viz 默认集成了 Prometheus 用于指标收集和展示。但在生产环境中，用户往往需要将指标数据持久化存储，或者希望使用已有的 Prometheus 实例。本文将详细介绍如何在 linkerd-viz 中集成外部 Prometheus 的完整实践过程。

核心配置要点

Prometheus Helm 部署配置

使用 prometheus-community/prometheus Helm chart 部署时，关键配置包括：

1. 基础配置：

server:
  podAnnotations:
    linkerd.io/inject: enabled  # 启用 Linkerd 代理注入
  global:
    scrape_interval: 10s       # 默认抓取间隔
    scrape_timeout: 10s        # 抓取超时时间
    evaluation_interval: 10s   # 规则评估间隔

2. 服务端口配置：

  service:
    servicePort: 9090  # 必须与容器端口一致以避免代理问题

3. 持久化存储：

  persistentVolume:
    size: 20Gi  # 根据实际需求调整大小

抓取配置详解

在 serverFiles.prometheus.yml 中需要配置三个关键抓取任务：

1. 控制平面组件抓取：

- job_name: 'linkerd-controller'
  kubernetes_sd_configs:
  - role: pod
    namespaces:
      names: ['linkerd', 'linkerd-viz']
  relabel_configs:
  - source_labels: [__meta_kubernetes_pod_container_port_name]
    action: keep
    regex: admin-http

2. 服务镜像组件抓取：

- job_name: 'linkerd-service-mirror'
  kubernetes_sd_configs:
  - role: pod
  relabel_configs:
  - source_labels:
    - __meta_kubernetes_pod_label_linkerd_io_control_plane_component
    - __meta_kubernetes_pod_container_port_name
    action: keep
    regex: linkerd-service-mirror;admin-http$

3. 代理指标抓取：

- job_name: 'linkerd-proxy'
  kubernetes_sd_configs:
  - role: pod
  relabel_configs:
  - source_labels:
    - __meta_kubernetes_pod_container_name
    - __meta_kubernetes_pod_container_port_name
    - __meta_kubernetes_pod_label_linkerd_io_control_plane_ns
    action: keep
    regex: ^linkerd-proxy;linkerd-admin;linkerd$

安全策略配置

为了确保 Prometheus 与其他组件间的安全通信，需要配置以下策略：

1. Server 资源配置：

apiVersion: policy.linkerd.io/v1beta3
kind: Server
metadata:
  name: prometheus-server-admin
  namespace: linkerd-viz
spec:
  accessPolicy: deny
  podSelector:
    matchLabels:
      app.kubernetes.io/component: server
  port: 9090
  proxyProtocol: HTTP/1

2. 授权策略：

apiVersion: policy.linkerd.io/v1alpha1
kind: AuthorizationPolicy
metadata:
  name: prometheus-server-admin
spec:
  requiredAuthenticationRefs:
  - kind: ServiceAccount
    name: metrics-api
  targetRef:
    group: policy.linkerd.io
    kind: Server
    name: prometheus-server-admin

3. MeshTLS 认证扩展：

apiVersion: policy.linkerd.io/v1alpha1
kind: MeshTLSAuthentication
metadata:
  name: linkerd-viz
spec:
  identities:
    - "tap.linkerd-viz.serviceaccount.identity.linkerd.cluster.local"
    - "prometheus.linkerd-viz.serviceaccount.identity.linkerd.cluster.local"
    - "prometheus-server.linkerd-viz.serviceaccount.identity.linkerd.cluster.local"

常见问题排查

1. 路由指标不显示：

   • 确认 Prometheus 配置文件中抓取任务正确
   • 检查 Prometheus 目标页面确认所有端点都处于活跃状态
   • 验证时间范围选择是否合适

2. TLS 握手错误：

   • 检查服务账户身份配置是否正确
   • 确认 Server 和 AuthorizationPolicy 资源配置匹配
   • 验证网络策略是否允许必要通信

3. 数据持久性问题：

   • 确认持久化卷声明成功绑定
   • 检查 Prometheus 日志是否有存储相关错误
   • 验证卷大小是否足够

最佳实践建议

1. 监控配置验证：

   • 部署后立即检查 Prometheus 的/targets 页面
   • 使用 PromQL 查询验证关键指标是否存在

2. 资源规划：

   • 根据集群规模调整 Prometheus 资源请求和限制
   • 预估存储需求并设置适当的保留策略

3. 版本兼容性：

   • 保持 Linkerd 控制平面和可视化组件版本一致
   • 定期检查版本更新说明

通过以上配置和实践，可以成功将外部 Prometheus 集成到 linkerd-viz 中，实现指标的持久化存储和长期分析能力，同时保持 Linkerd 提供的所有可视化功能正常工作。