Higress 网关在255核机器上部署时的WASM VM限制问题分析

问题背景

在Higress网关的all-in-one部署模式下，当运行在拥有255个CPU核心的高性能服务器上时，如果启用的插件数量超过8个，网关服务会出现异常崩溃现象。崩溃日志显示主要存在两类错误：一类是V8引擎的内存权限设置失败，另一类是JavaScript内存耗尽(OOM)错误。

问题根源分析

经过深入排查，发现该问题与Higress在all-in-one模式下的线程分配机制有关：

1. 线程数量自动扩展：在all-in-one部署模式下，Higress不会像Kubernetes环境中那样根据CPU限制自动配置工作线程数，而是会根据物理CPU核心数自动扩展工作线程。

2. WASM VM数量爆炸：在255核的服务器上，每个CPU核心会对应一个工作线程，而每个线程会启动8个WASM虚拟机(V8引擎实例)。这样总共会产生2040个V8 WASM VM实例(255线程×8VM/线程)。

3. V8引擎资源限制：V8引擎对同时运行的WASM虚拟机数量有硬性限制，当超过这个限制时，就会出现内存分配失败或权限设置错误，导致网关服务崩溃。

技术细节

1. WASM插件机制：Higress使用WebAssembly(WASM)来实现插件功能，每个插件都需要在独立的WASM虚拟机中运行。

2. 并发模型：Envoy(作为Higress的核心组件)默认会根据主机CPU核心数来创建工作线程，以提高并发处理能力。

3. 资源消耗：每个WASM虚拟机都会消耗一定的内存资源，当虚拟机数量过多时，会超出V8引擎的内存管理能力。

解决方案

针对这一问题，Higress团队提出了以下解决方案：

1. 手动限制工作线程数：通过配置Envoy的--concurrency参数，可以手动限制工作线程数量，避免自动扩展到全部CPU核心。

2. 优化部署模式：

   • 在生产环境中，建议使用标准Kubernetes部署模式而非all-in-one模式
   • 对于高核心数服务器，应该合理评估实际需要的并发能力

3. 插件管理优化：

   • 评估并精简不必要的插件
   • 考虑合并功能相似的插件

最佳实践建议

1. 服务器选型：对于网关类应用，不需要追求过高核心数的服务器，适度的核心数配合高主频可能更为合适。

2. 性能测试：在部署前应进行充分的性能测试，确定最优的线程和插件配置。

3. 监控预警：建立完善的监控体系，及时发现和预警资源瓶颈。

4. 版本更新：关注Higress的版本更新，该问题在后续版本中可能会通过自动限制线程数的方式得到根本解决。

总结

Higress网关在高核心数服务器上的这一性能限制问题，揭示了WASM技术在资源管理方面的挑战。通过合理的配置和优化，可以充分发挥Higress在高性能环境中的潜力，同时避免资源过度消耗导致的稳定性问题。这也提醒我们在设计云原生网关系统时，需要充分考虑不同部署环境下的资源分配策略。