Higress项目服务列表获取异常问题分析与解决方案

问题背景

在使用Higress项目时，用户可能会遇到无法获取服务列表的问题，控制台返回500异常。这种情况通常发生在通过helm安装Higress后，控制台无法正常访问15014端口的调试接口。本文将深入分析该问题的成因，并提供完整的解决方案。

问题现象

当用户访问Higress控制台的服务列表页面时，系统会返回500错误。通过查看控制台日志，可以发现以下关键错误信息：

com.alibaba.higress.sdk.exception.BusinessException: Error occurs when listing services.
Caused by: java.net.ConnectException: Failed to connect to higress-controller.higress-system/10.104.139.197:15014

这表明控制台组件无法连接到higress-controller的15014端口。

问题排查步骤

1. 检查Pod状态：首先确认所有相关Pod都处于Running状态且READY为2/2。

2. 验证端口监听：进入higress-controller Pod执行netstat -lntp，确认15014端口确实在监听状态。

3. 网络连通性测试：

   • 在宿主机上使用Pod IP直接访问15014端口，确认可以正常连接
   • 在gateway容器中测试连接15014端口，同样可以正常工作
   • 只有在console容器中无法连接到15014端口

4. 服务解析验证：确认Service可以正常解析到正确的IP地址。

根本原因分析

经过深入排查，发现问题根源在于Kubernetes节点的内核参数配置不完整。具体表现为：

1. 缺少必要的内核模块加载（overlay和br_netfilter）
2. 未正确配置网络相关的sysctl参数
3. 这些缺失导致容器间的网络通信异常，特别是控制台容器无法访问控制器服务

完整解决方案

要彻底解决此问题，需要在所有Kubernetes节点上执行以下配置：

1. 加载必需的内核模块

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

2. 配置网络参数

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

sudo sysctl --system

3. 验证配置

执行以下命令验证配置是否生效：

lsmod | grep -e overlay -e br_netfilter
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward

预防措施

为避免类似问题再次发生，建议：

1. 在部署Kubernetes集群前，预先检查并配置所有节点的内核参数
2. 将内核参数配置纳入集群初始化脚本
3. 定期检查节点的基础配置是否符合Kubernetes运行要求

总结

Higress项目服务列表获取异常通常是由于底层网络配置不完整导致的。通过正确配置内核模块和网络参数，可以确保容器间的正常通信。这个问题提醒我们，在部署云原生应用时，不仅要关注应用本身的配置，还需要确保基础设施层满足所有前提条件。