Keepalived DR模式中Local转发机制的变化与问题排查

背景介绍

在LVS（Linux Virtual Server）负载均衡架构中，Keepalived作为高可用解决方案被广泛使用。其中DR（Direct Routing）模式因其高性能特点成为常见部署方式。近期有用户在升级环境后发现，当负载均衡节点同时作为真实服务器时，IPVS转发机制中的"Local"标识不再显示，这引发了服务异常的问题。

技术原理分析

IPVS转发机制演变

在早期Linux内核版本（2.6.32及之前）中，IPVS会为本地地址的连接显式设置IP_VS_CONN_F_LOCALNODE标志，这导致ipvsadm工具显示"Local"转发方式。然而自内核2.6.37起，这一行为发生了变化：

1. 内核提交fc604767613b移除了显式设置LOCALNODE作为转发方式的做法
2. 目的是确保备份服务器能正确处理连接转发
3. 虽然不再显示"Local"标识，但内核仍会以本地方式处理指向本地地址的流量

DR模式的工作机制

在DR模式下：

• 负载均衡器仅处理入站请求，响应直接由真实服务器返回给客户端
• 需要配置ARP抑制避免VIP冲突
• 本地转发时，理论上数据包应直接传递给上层应用

问题现象

用户从CentOS 6.5（内核2.6.32）升级到RockyLinux 8（内核4.18）后发现：

1. ipvsadm输出中不再显示"Local"转发标识
2. 当负载均衡节点同时作为真实服务器时，DR模式（-g参数）下服务不可用
3. 切换为NAT模式（-m参数）后服务恢复，但这不是理想方案

深入排查

网络包分析

通过抓包分析发现：

1. TCP三次握手成功完成，证明IPVS基础转发功能正常
2. HTTP请求能到达Nginx服务器
3. 服务器生成的响应未能正确返回客户端
4. 出现大量重传和重复ACK，表明存在通信异常

关键发现

进一步排查发现：

1. firewalld的masquerade（地址伪装）配置干扰了DR模式的正常通信
2. 关闭masquerade后，DR模式恢复正常
3. 这与DR模式要求响应直接返回客户端的特性相冲突

解决方案

对于类似场景，建议采取以下措施：

1. 内核版本适配：理解新版本内核不再显示"Local"标识属于正常行为
2. 防火墙配置：
   • 禁用可能干扰DR模式的masquerade功能
   • 确保VIP相关规则正确配置
3. 健康检查：保持完善的健康检查机制
4. 环境验证：
   • 测试时先简化防火墙规则
   • 逐步添加规则观察影响

最佳实践

对于需要在负载均衡节点上同时运行服务的场景：

1. 明确区分VIP和RIP的配置
2. 为每个节点使用不同的防火墙标记（fwmark）
3. 确保ARP抑制配置正确应用
4. 定期验证各节点的转发状态

总结