Apache Linkis 1.4.0版本多ECM节点负载均衡问题分析

Apache Linkis作为连接计算中间件，其ECM(EngineConnManager)节点负责管理和调度计算引擎。在1.4.0版本中，用户反馈存在多ECM节点无法实现负载均衡的问题。

问题现象

在分布式部署环境下，当配置两个ECM节点时，系统仅随机选择一个节点工作，即使达到最大并发任务数(20个)导致任务报错，另一个ECM节点也不会参与创建引擎。更值得注意的是，如果仅启动单个ECM节点，任务提交会直接失败，必须启动两个节点才能提交任务，但此时仍然只有一个节点实际工作。

问题分析

从日志信息可以看出，工作的ECM节点不断执行kill父进程的操作，这表明系统存在资源回收机制，但负载均衡策略未能正常生效。这种设计可能导致以下问题：

1. 资源利用率低下：集群计算能力无法充分发挥
2. 单点风险：工作节点负载过高可能导致服务不稳定
3. 扩展性受限：新增节点无法分担负载

解决方案

该问题已在Linkis 1.5.0版本中得到修复。对于仍在使用1.4.0版本的用户，可以考虑以下两种解决方案：

1. 升级到1.5.0版本：这是官方推荐的解决方案，包含了完整的修复和改进
2. 应用特定补丁：可以单独合并相关的问题修复提交，但需要注意兼容性

技术建议

对于生产环境，建议用户：

1. 定期关注版本更新，及时升级到稳定版本
2. 在测试环境充分验证新版本功能后再进行生产部署
3. 监控ECM节点的工作状态，确保资源合理分配
4. 根据业务负载情况合理配置ECM节点数量

通过解决这个负载均衡问题，可以显著提升Linkis集群的资源利用率和任务处理能力，为用户提供更稳定高效的数据计算服务。