Antrea项目中NodePortLocal映射规则删除问题的分析与解决

问题背景

在Kubernetes网络插件Antrea中，NodePortLocal（NPL）功能允许将节点上的特定端口映射到Pod的端口，从而实现从集群外部直接访问Pod服务的能力。这一功能通过维护一组DNAT规则和Pod注解来实现端口映射关系。

问题现象

在Antrea v1.11.3至v2.0.0版本中，存在一个关于NPL映射规则删除的缺陷。当需要删除Pod的部分NPL映射规则（而非全部规则）时，系统会出现异常行为：

1. iptables中的DNAT规则能够被正确删除
2. 但Pod的NPL注解未能相应更新
3. Antrea Agent日志中持续报错："failed to delete rule for Pod IP...protocol tcp is still in use, cannot release socket"

问题复现场景

考虑一个包含两个容器的Pod，每个容器暴露不同的服务端口（如9090和9000），并对应两个启用了NPL的Service。当仅修改其中一个Service，移除其NPL注解时：

• 预期：Pod的NPL注解应自动更新，仅保留另一个端口的映射信息
• 实际：Pod的NPL注解保持不变，系统陷入错误循环

技术分析

深入代码层面，发现Antrea在处理NPL规则删除时有两种不同路径：

1. 完全删除路径：当Pod被删除或所有NPL映射都需要移除时，调用DeleteRulesForPod函数，该路径工作正常
2. 部分删除路径：当只需删除部分映射规则时，调用DeleteRule函数，该路径存在问题

关键差异在于部分删除路径中，系统尝试释放TCP套接字时错误地认为协议仍在使用中，导致操作失败。这实际上是一个逻辑错误，因为在部分删除场景下，确实仍有其他映射规则在使用相同的协议（TCP）。

解决方案

修复方案需要调整部分删除逻辑：

1. 在部分删除场景下，不应强制要求释放协议套接字
2. 仅当删除最后一个使用特定协议的规则时，才需要释放相关资源
3. 确保Pod注解的更新不受套接字释放操作的影响

影响范围

该问题影响所有使用NPL功能且需要动态调整部分映射规则的场景。对于完全删除Pod或完全禁用PodNPL功能的情况则不受影响。

修复版本

该问题已在Antrea后续版本中得到修复。用户升级到包含修复的版本即可解决此问题。

总结

Antrea的NPL功能为Kubernetes提供了灵活的外部访问能力，但在部分规则删除场景中存在逻辑缺陷。通过深入分析问题根源并针对性调整资源释放逻辑，确保了NPL功能在各种使用场景下的正确性。这一案例也展示了网络功能实现中资源管理的重要性，特别是在涉及多种系统组件（iptables、套接字、注解等）协同工作时，需要仔细考虑各种边界条件。