Chaos Mesh 中主机实验证书错误问题分析与解决

在 Kubernetes 环境中使用 Chaos Mesh 进行混沌实验时，部分用户在执行主机实验（host experiment）时可能会遇到 x509 证书验证失败的问题。本文将深入分析该问题的成因，并提供完整的解决方案。

问题现象

当用户通过 Helm Chart v2.6.0 安装 Chaos Mesh 后，尝试添加主机实验时会遇到以下错误信息：

Failed to apply chaos: : Post "https://ip:31767/api/attack/stress": x509: certificate is valid for localhost, chaos-daemon.chaos-mesh.org, not chaosd.chaos-mesh.org

错误表明系统尝试使用 chaosd.chaos-mesh.org 域名进行验证，但证书仅对 localhost 和 chaos-daemon.chaos-mesh.org 有效。

问题根源

这个问题源于 Chaos Mesh 组件间通信的 TLS 证书配置不匹配。具体来说：

1. Chaos Daemon 服务默认生成的证书中只包含特定的 Subject Alternative Names (SANs)
2. 当客户端尝试连接时，使用了未包含在证书 SANs 列表中的域名
3. 系统默认生成的证书不包含 chaosd.chaos-mesh.org 这个域名

解决方案

要解决这个问题，需要重新生成包含正确域名的 TLS 证书。以下是详细步骤：

1. 生成新的证书

使用 chaosctl 工具生成新的证书，确保包含所有需要的域名：

chaosctl generate tls-certs \
    --local /path/to/save/certs \
    --domains "localhost,chaos-daemon.chaos-mesh.org,chaosd.chaos-mesh.org"

2. 更新 Kubernetes Secret

将新生成的证书更新到 Kubernetes 的 Secret 中：

kubectl create secret generic chaos-mesh-chaosd-client-certs \
    --namespace chaos-mesh \
    --from-file=ca.crt=/path/to/save/certs/ca.crt \
    --from-file=tls.crt=/path/to/save/certs/client.crt \
    --from-file=tls.key=/path/to/save/certs/client.key \
    --dry-run=client -o yaml | kubectl apply -f -

3. 重启相关组件

为了使新证书生效，需要重启 Chaos Mesh 的相关组件：

kubectl rollout restart deployment -n chaos-mesh chaos-controller-manager
kubectl rollout restart daemonset -n chaos-mesh chaos-daemon

验证解决方案

执行以下步骤验证问题是否已解决：

1. 再次尝试创建主机实验
2. 检查实验状态是否变为"Running"
3. 查看相关日志确认没有证书错误

最佳实践建议

为了避免类似问题，建议：

1. 在安装 Chaos Mesh 前预先规划好所有可能用到的域名
2. 使用统一的证书管理策略
3. 定期更新证书，确保证书不会过期
4. 在生产环境中考虑使用企业级证书颁发机构(CA)颁发的证书

总结

Chaos Mesh 作为一款强大的混沌工程工具，其安全性依赖于正确的 TLS 配置。通过本文介绍的方法，用户可以解决主机实验中的证书验证问题，确保混沌实验能够顺利执行。理解证书验证机制不仅有助于解决当前问题，也为后续更复杂的部署场景打下了基础。

对于大规模生产环境，建议进一步研究 Chaos Mesh 的高级证书配置选项，以实现更灵活、更安全的证书管理策略。