kube-prometheus-stack中Node Exporter的PodSecurity最佳实践

背景介绍

在Kubernetes环境中部署监控系统时，Prometheus Node Exporter作为主机指标采集的核心组件，通常需要以DaemonSet形式运行并访问主机系统资源。然而随着Kubernetes安全机制的演进，特别是PodSecurityPolicy(PSP)的废弃和Pod Security Admission(PSA)的引入，用户在使用kube-prometheus-stack部署时经常会遇到安全策略冲突问题。

核心问题分析

Node Exporter需要以下特权才能完整采集主机指标：

• hostNetwork: 访问主机网络命名空间
• hostPID: 查看主机进程树
• hostPath volumes: 挂载/proc、/sys等系统目录
• hostPort: 暴露9100指标端口

这些需求与Kubernetes的"restricted"安全策略存在直接冲突，具体表现为：

1. 不允许使用主机命名空间(hostNetwork/hostPID)
2. 必须限制能力集(capabilities.drop=["ALL"])
3. 禁止使用hostPath卷类型
4. 需要配置seccompProfile

解决方案比较

方案一：放宽命名空间安全策略（不推荐）

通过在命名空间级别添加标签允许特权模式：

pod-security.kubernetes.io/enforce: privileged

缺点：整个命名空间的安全性降低，不符合最小权限原则。

方案二：使用准入控制器（推荐）

通过Kyverno或Gatekeeper等策略引擎创建细粒度的例外规则：

apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: allow-node-exporter
spec:
  background: false
  rules:
  - name: allow-node-exporter
    match:
      resources:
        kinds:
        - Pod
        namespaces:
        - prometheus
        names:
        - "*-node-exporter-*"
    validate:
      message: "Node Exporter requires host access"
      pattern:
        spec:
          hostNetwork: true
          hostPID: true
          containers:
          - name: node-exporter
            securityContext:
              capabilities:
                add: ["SYS_TIME"]

优点：精确控制特定工作负载的安全例外。

方案三：调整Node Exporter配置（功能受限）

如果不需要完整的主机指标，可以限制Node Exporter权限：

nodeExporter:
  hostNetwork: false
  hostPID: false 
  volumes:
    - name: proc
      hostPath:
        path: /proc
    - name: sys
      hostPath:
        path: /sys

影响：

• 无法采集主机网络指标
• 进程级指标不完整
• 部分系统指标缺失

安全加固建议

即使需要特权模式，也应遵循安全最佳实践：

1. 最小化能力集：

securityContext:
  capabilities:
    drop: ["ALL"]
    add: ["NET_RAW", "NET_ADMIN"]

2. 启用seccomp：

securityContext:
  seccompProfile:
    type: RuntimeDefault

3. 限制root挂载：

volumes:
- name: root
  hostPath:
    path: /
    type: File

实施建议

对于生产环境，推荐组合方案：

1. 使用Kyverno创建细粒度例外策略
2. 保持命名空间为restricted模式
3. 为Node Exporter添加必要的最小权限
4. 定期审计安全策略

通过这种平衡的方法，可以在保障集群安全性的同时，确保监控系统的完整功能。随着Kubernetes安全生态的发展，未来可能会有更精细的权限控制机制出现，值得持续关注。