Kubernetes集群中Dashboard访问404问题的排查与解决——以k8s_PaaS项目为例

问题现象描述

在k8s_PaaS项目部署过程中，当删除21节点并重新连接后，用户遇到了Dashboard服务无法访问的问题。具体表现为：

1. 浏览器访问dashboard.od.com时显示"404 page not found"
2. 使用curl命令测试返回301状态码
3. Pod内部日志显示与kube-state-metrics服务相关的错误

问题排查过程

初步诊断

通过检查发现kube-state-metrics服务不存在，这可能是导致Dashboard无法正常工作的关键原因。kube-state-metrics是Kubernetes集群中用于收集集群状态指标的重要组件，它的缺失会影响监控系统的正常运行。

深入分析

进一步排查发现，虽然项目文档中heapster服务被标记为非必需章节，但实际运行环境中某些组件可能仍然依赖它。heapster是Kubernetes早期的监控解决方案，虽然现在主流已转向Prometheus，但在某些特定版本或配置中仍可能被引用。

解决方案实施

多维度修复尝试

1. 镜像处理：

   • 从百度云获取heapster.tar镜像文件
   • 使用docker load命令加载镜像
   • 将镜像推送到Harbor私有仓库

2. 服务重启：

   • 重启管理服务确保相关进程正常运行

3. 网络配置：

   • 在第五章的iptables规则部分添加关键规则：

     iptables -t nat -I POSTROUTING -s 172.7.21.0/24 ! -d 172.7.0.0/16 ! -o docker0 -j MASQUERADE
     iptables-save |grep -i postrouting
     

解决效果验证

经过上述步骤后，21节点成功启动并加入集群，Dashboard服务恢复正常访问。

技术原理剖析

网络连接问题

301状态码表明存在重定向问题，通常与网络配置有关。添加的iptables规则确保了21节点子网(172.7.21.0/24)到集群网络(172.7.0.0/16)的正确路由和地址转换。

监控组件依赖

虽然heapster已不是主流监控方案，但在某些Kubernetes版本中，Dashboard可能仍然尝试访问相关指标接口。部署heapster服务可以满足这些遗留依赖。

最佳实践建议

1. 版本兼容性检查：

   • 确保所有组件版本匹配，特别是监控系统与Kubernetes版本

2. 完整部署验证：

   • 即使某些组件标记为可选，也应评估实际环境中的依赖关系

3. 网络配置标准化：

   • 将关键iptables规则纳入部署脚本，确保节点加入时的网络连通性

4. 监控方案选择：

   • 对于新部署，建议直接采用Prometheus+Alertmanager+Grafana监控栈

总结

在Kubernetes集群运维过程中，服务间的隐式依赖和网络配置是需要特别关注的领域。本例展示了如何通过多维度排查和系统性修复来解决Dashboard访问问题，同时也提醒我们在实际部署中要考虑文档说明与实际环境的差异，灵活应对各种意外情况。