在Coroot中使用VictoriaMetrics替代Prometheus的配置指南

背景介绍

Coroot是一个开源的Kubernetes监控和故障排查工具，它通常依赖Prometheus作为数据源。然而在实际生产环境中，许多用户会选择VictoriaMetrics作为Prometheus的替代方案，因为VictoriaMetrics提供了更好的性能和可扩展性。

关键问题

当用户尝试将Coroot的数据源从Prometheus切换到VictoriaMetrics时，可能会遇到节点和工作负载无法正常显示的问题。这主要是因为VictoriaMetrics默认的指标重标记配置会丢弃一些Coroot必需的标签。

问题分析

Coroot在运行过程中依赖以下几个关键指标和标签：

1. kube_pod_info 指标中的 uid 标签 - 用于唯一标识Pod
2. coroot-node-agent 的监控端点数据 - 用于收集节点级指标

VictoriaMetrics默认的kube-state-metrics抓取配置会丢弃一些标签，导致Coroot无法获取必要的信息。

解决方案

对于使用victoria-metrics-k8s-stack Helm chart部署VictoriaMetrics的用户，需要修改ServiceScrape配置，保留必要的标签：

kube-state-metrics:
  vmServiceScrape:
    spec:
      endpoints:
      - port: http
        honorLabels: true
        metricRelabelConfigs:
          - action: labeldrop
            regex: (container_id|image_id)

这个配置做了以下关键修改：

1. 设置 honorLabels: true - 保留原始指标标签
2. 只丢弃 container_id 和 image_id 标签，保留 uid 等Coroot必需的标签

验证步骤

配置修改后，需要验证以下几点：

1. VictoriaMetrics是否成功发现并抓取 coroot-node-agent 的端点
2. kube_pod_info 指标中是否包含 uid 标签
3. Coroot界面是否能够正常显示节点和工作负载信息

最佳实践

对于生产环境，建议：

1. 在切换数据源前，先在测试环境验证配置
2. 监控VictoriaMetrics的抓取日志，确保没有指标被错误丢弃
3. 定期检查Coroot的日志，确认没有标签缺失的警告

通过以上配置调整，用户可以顺利地在Coroot中使用VictoriaMetrics作为监控数据源，同时享受VictoriaMetrics带来的性能优势和Coroot提供的强大监控能力。