Harvester中管理节点禁用Kubevirt虚拟机调度的技术方案

在Harvester集群部署实践中，管理节点（Management role nodes）通常承担着控制平面的关键职责。这些节点往往配置较低的资源规格，专门用于运行Kubernetes控制组件和Harvester管理系统。然而，默认情况下这些节点仍然允许调度Kubevirt虚拟机工作负载，这可能导致资源争用和性能问题。

问题背景

Harvester当前版本中，管理节点角色是"优先"而非"专用"的。这意味着虽然系统会优先将控制平面组件调度到这些节点，但虚拟机工作负载同样可能被调度到这些节点上。对于专门设计的小规格管理节点集群，这种调度行为可能导致：

1. 管理节点资源过载，影响控制平面稳定性
2. 虚拟机性能下降
3. 关键系统组件资源不足

现有解决方案及其局限性

目前可以通过手动为管理节点添加kubevirt.io/schedulable: 'false'标签来禁止虚拟机调度。这种方法虽然有效，但存在一个显著缺陷：该配置在Harvester系统升级后会被重置，无法持久化保留。

推荐的解决方案

针对这一需求，我们推荐以下两种技术方案：

方案一：使用节点亲和性规则

1. 为管理节点添加自定义标签组，例如nonemgmt=true
2. 在创建虚拟机时，通过节点调度设置指定虚拟机只能运行在带有特定标签的节点上

这种方案的YAML示例如下：

spec:
  template:
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                  - key: nonemgmt
                    operator: Exists

方案二：污点与容忍度配合

1. 为管理节点添加污点（Taint）：

   kubectl taint nodes <node-name> management=reserved:NoSchedule
   

2. 仅为非虚拟机工作负载配置相应的容忍度

这种方法可以确保只有特定的系统组件能够在管理节点上运行。

实施建议

对于生产环境部署，我们建议：

1. 在集群初始化阶段就规划好节点角色划分
2. 对管理节点统一应用节点选择标签或污点
3. 建立自动化检查机制，确保配置在升级后仍然有效
4. 对于关键业务虚拟机，明确指定节点亲和性规则

未来优化方向

从架构设计角度看，Harvester可以考虑：

1. 增加专用管理节点角色的官方支持
2. 提供持久化的调度策略配置界面
3. 在升级流程中保留关键的调度配置
4. 开发节点资源预留机制，确保控制平面资源需求

通过以上方案，用户可以有效地隔离管理节点和虚拟机工作负载，确保Harvester集群的稳定运行和资源合理利用。