Submariner项目中publishNotReadyAddresses标志的跨集群传播问题分析

背景介绍

在Kubernetes多集群网络解决方案Submariner中，服务导出功能是核心特性之一。当用户需要将一个集群中的服务暴露给其他集群时，会使用subctl工具进行服务导出操作。在这个过程中，服务的一些关键属性需要被正确传播到目标集群，以确保服务行为的正确性。

问题现象

在Submariner v0.18.0版本中，发现当源服务设置了publishNotReadyAddresses标志为true时，这个属性并没有被传播到Globalnet创建的内部服务上。这会导致一些特殊场景下的服务访问问题，特别是对于有状态应用如Cassandra数据库的跨集群部署。

技术细节分析

publishNotReadyAddresses是Kubernetes服务的一个重要属性，它控制着服务是否应该发布未就绪的Pod地址。默认情况下，Kubernetes服务只会发布就绪的Pod地址到Endpoint对象中。当这个标志设置为true时，即使Pod的就绪探针未通过，其地址也会被发布。

在Submariner的实现中，对于Headless服务，已经处理了这个标志的传播问题。但对于普通的ClusterIP服务，Globalnet控制器在创建内部服务时没有考虑这个属性。这会导致以下问题：

1. 对于需要提前发布地址的应用（如Cassandra节点发现），服务无法正常工作
2. 跨集群服务的行为与源集群服务不一致
3. 手动修改内部服务的属性会被自动恢复

解决方案

正确的实现应该是在Globalnet控制器创建内部服务时，检查源服务的publishNotReadyAddresses属性，并将其设置到内部服务上。这需要修改Globalnet控制器的相关代码逻辑，确保服务属性的完整传播。

对于Cassandra这类有状态应用的跨集群部署，这个修复尤为重要。Cassandra节点需要在完全启动前就能相互发现，因此依赖publishNotReadyAddresses功能来确保节点间的早期通信。

影响范围

该问题影响所有使用Submariner进行服务导出并且满足以下条件的场景：

1. 使用非Headless服务类型
2. 服务设置了publishNotReadyAddresses=true
3. 依赖未就绪Pod的早期通信能力

总结

Submariner作为Kubernetes多集群网络解决方案，需要确保服务属性的完整传播。publishNotReadyAddresses标志的正确处理对于某些特定应用场景至关重要。开发团队已经意识到这个问题，并在后续版本中进行了修复，确保了服务导出行为的完整性和一致性。