Longhorn在Talos环境中缺失节点CPU/内存监控指标的解决方案

问题背景

在Talos Linux环境中部署Longhorn存储系统时，运维人员发现节点级别的CPU和内存使用情况监控指标(longhorn_node_cpu_usage_millicpu和longhorn_node_memory_usage_bytes)无法正常采集。这一问题直接影响了基于这些指标构建的监控告警系统，也使得集群资源使用情况的可观测性大打折扣。

根本原因分析

经过深入排查，发现问题的根源在于Talos Linux的默认安装配置中不包含Kubernetes Metrics Server组件。Metrics Server是Kubernetes集群中负责收集和聚合资源使用指标的核心组件，它为Horizontal Pod Autoscaler(HPA)和Vertical Pod Autoscaler(VPA)等自动扩缩容功能提供基础数据支持。

Longhorn的监控系统依赖于Metrics Server提供的API端点来获取节点和Pod级别的资源使用情况。具体来说，Longhorn Manager会通过以下API路径获取监控数据：

• 节点指标：/apis/metrics.k8s.io/v1beta1/nodes
• Pod指标：/apis/metrics.k8s.io/v1beta1/pods

当这些API端点不可用时，Longhorn就无法采集到节点的CPU和内存使用情况，从而导致相关监控指标缺失。

解决方案

安装Metrics Server

在Talos Linux集群中安装Metrics Server是解决此问题的标准方案。安装过程需要注意以下几点：

1. 首先需要部署kubelet-serving-cert-approver组件，这是Talos环境下的必要前置条件，用于自动批准kubelet服务证书签名请求(CSR)。

2. 然后部署官方提供的Metrics Server组件。在部署时，建议使用最新稳定版本以确保兼容性和安全性。

3. 部署完成后，可以通过以下命令验证Metrics Server是否正常工作：

   kubectl get --raw /apis/metrics.k8s.io/v1beta1
   

   正常返回应该显示nodes和pods两个资源类型。

配置注意事项

在Talos环境中部署Metrics Server时，可能需要特别关注以下配置项：

1. 容器镜像源：确保能够正常拉取Metrics Server的容器镜像。

2. 资源请求和限制：根据集群规模合理设置Metrics Server的资源配额。

3. 高可用配置：在生产环境中，建议配置多个Metrics Server副本以确保服务可靠性。

4. 数据保留策略：根据监控需求调整历史数据的保留时间。

验证方法

安装完成后，可以通过以下步骤验证Longhorn监控指标是否恢复正常：

1. 检查Longhorn Manager的日志，确认不再出现"the server could not find the requested resource"相关错误。

2. 查询Prometheus指标，确认longhorn_node_cpu_usage_millicpu和longhorn_node_memory_usage_bytes指标已存在并有数据。

3. 运行Longhorn的集成测试套件中的test_node_metrics测试用例，确认测试通过。

长期维护建议

为了确保监控系统的长期稳定运行，建议：

1. 定期检查Metrics Server的运行状态和资源使用情况。

2. 关注Metrics Server的版本更新，及时升级以获得新功能和安全性修复。

3. 建立监控告警机制，当指标采集异常时能够及时通知运维人员。

4. 在集群扩容后，适当调整Metrics Server的资源配置以满足更高的监控数据采集需求。

通过以上措施，可以确保Longhorn在Talos环境中能够持续稳定地提供节点资源使用情况监控指标，为集群运维和容量规划提供可靠的数据支持。