K3s在SLE-Micro系统上启用SELinux时的svclb容器问题分析

问题背景

在SUSE Linux Enterprise Micro(SLE-Micro)操作系统上部署K3s集群时，当启用SELinux安全模块后，用户可能会遇到一个典型问题：svclb(Service Load Balancer)容器持续处于CrashLoopBackOff状态。这个问题主要出现在K3s v1.31.3及以上版本中，特别是在SLE-Micro 5.3及更高版本的操作系统环境中。

问题现象

当在SLE-Micro系统上安装K3s并启用SELinux时，通过kubectl get pods命令可以观察到svclb-traefik容器的状态异常：

kube-system   svclb-traefik-ec60f7aa-xknbd              0/2     Error       8 (60s ago)   104s

查看容器日志会发现以下关键错误信息：

Warning: Extension tcp revision 0 not supported, missing kernel module?
iptables v1.8.10 (nf_tables):  RULE_INSERT failed (No such file or directory): rule in chain FORWARD

根本原因分析

这个问题源于K3s v1.31.3版本开始使用的k3s-root 0.14.1组件中的一个重要变更。该版本引入了一个提交，将svclb容器从传统的iptables模式切换到了nftables(nft)模式。

在SELinux强制模式下，svclb容器运行在container_t上下文中，这个安全上下文默认没有权限加载内核模块。当容器尝试使用nftables功能时，需要加载以下内核模块：

• nft-expr-counter
• nft-expr-2-counter
• nfnetlink-subsys-11
• nft-chain-2-nat

由于SELinux的限制，容器无法自行加载这些模块，导致iptables命令执行失败，最终使容器崩溃。

解决方案

解决这个问题的正确方法是在K3s启动前预先加载所需的nftables相关内核模块。可以通过以下步骤实现：

1. 在系统启动时加载必要的内核模块：

   modprobe nft-expr-counter
   modprobe nft-expr-2-counter
   modprobe nfnetlink-subsys-11
   modprobe nft-chain-2-nat
   

2. 确保这些模块在每次系统启动时自动加载，可以将它们添加到/etc/modules-load.d/目录下的配置文件中。

验证方案

在K3s v1.32.0-rc2版本中，这个问题已经得到修复。验证步骤如下：

1. 准备配置文件/etc/rancher/k3s/config.yaml：

   write-kubeconfig-mode: 644
   node-name: server1
   cluster-init: true
   node-external-ip: <your_ip>
   selinux: true
   secrets-encryption: true
   

2. 安装K3s：

   curl -sfL https://get.k3s.io | sudo INSTALL_K3S_VERSION=v1.32.0-rc2+k3s1 INSTALL_K3S_SKIP_ENABLE=true INSTALL_K3S_CHANNEL=testing sh -
   sudo reboot
   sudo systemctl enable k3s.service --now
   

3. 验证集群状态：

   kubectl get nodes
   kubectl get pods -A
   

成功修复后，所有pod应处于Running或Completed状态，特别是svclb-traefik容器应该正常运行。

总结

这个问题展示了在容器化环境中结合使用SELinux和新型网络工具链(nftables)时可能遇到的权限挑战。K3s团队通过预先加载必要内核模块的方式解决了这个问题，确保了在SELinux强制模式下也能正常使用服务负载均衡功能。对于使用SLE-Micro和K3s的生产环境，建议至少使用v1.32.0-rc2及以上版本，以获得更好的SELinux兼容性。