vcluster中Kyverno部署问题分析与解决方案

问题背景

在使用vcluster 0.21.0-beta.2版本部署Kyverno 1.12.6时，遇到了admission-controller Pod无法正常启动的问题。经过排查，发现主要问题集中在配置访问和TLS证书方面。

问题现象

1. admission-controller Pod启动失败
2. 日志显示无法列出configmaps的权限问题
3. 后续发现缺少"kyverno-svc.kyverno.svc.kyverno-tls-pair"密钥
4. 当Kyverno处于异常状态时，会导致k8s API Server多个命令执行失败

技术分析

权限问题分析

最初怀疑是RBAC配置问题，因为admission-controller无法列出configmaps。但通过测试Pod使用相同ServiceAccount验证，确认权限配置实际上是正确的。

Webhook配置影响

当Kyverno处于异常状态时，其webhook配置会导致API Server无法正常响应请求。这表现为：

• 创建Pod等操作失败
• API Server对webhook服务的调用超时

TLS证书问题

深入排查后发现关键问题在于缺少必要的TLS证书密钥对：

• kyverno-svc.kyverno.svc.kyverno-tls-pair密钥缺失
• 这导致TLS握手失败，进而影响整个组件的启动

解决方案

版本升级验证

将Kyverno升级到1.13.1版本后，问题得到解决。但需要注意：

• 仅升级版本不足以解决问题
• 需要移除之前添加的自定义覆盖配置

临时处理措施

在问题定位过程中，可以采取以下临时措施：

1. 删除有问题的webhook配置(kyverno-resource-mutating-webhook-cfg和kyverno-resource-validating-webhook-cfg)
2. 清理可能存在的异常Lease资源
3. 对admission-controller执行滚动重启

最佳实践建议

1. 版本选择：在vcluster环境中推荐使用Kyverno 1.13.1或更高版本
2. 配置简化：初次部署时避免使用复杂的覆盖配置
3. 监控机制：建立对webhook服务健康状态的监控
4. 隔离测试：在测试环境验证后再应用到生产环境

总结

在vcluster中部署Kyverno时，版本兼容性和TLS证书管理是需要特别关注的两个方面。通过升级到较新版本并简化配置，可以有效避免这类启动问题。对于关键组件，建议建立完善的健康检查机制，确保异常情况能够被及时发现和处理。