Keepalived负载异常问题分析与解决方案

问题现象

在CentOS 7.9虚拟机上运行的Keepalived服务(v1.3.5)出现了周期性负载高峰现象。监控数据显示，系统负载平均每14-18小时会突然升高，持续时间约20-30分钟。值得注意的是，这种负载高峰与CPU、内存和磁盘使用率等资源指标并无明显关联。

环境配置

系统环境为CentOS 7.9 x86_64，运行在VMware虚拟化平台上。Keepalived配置中包含VRRP实例和健康检查脚本，主要功能包括：

• 服务状态检查脚本(/etc/keepalived/keepalived_check_heplify.sh)
• 状态变更通知脚本
• 单播通信配置
• 虚拟IP地址管理

问题排查过程

1. 初步分析：当停止Keepalived服务后，负载高峰现象消失，表明问题与Keepalived直接相关。

2. 版本升级测试：从v1.3.5升级到v2.2.1后问题依旧存在，排除了版本特定缺陷的可能性。

3. 资源监控：使用top/htop/atop等工具监控系统资源，发现负载高峰期间并无明显资源瓶颈。

4. 脚本影响分析：

   • 检查脚本每5秒执行一次，包含服务状态检查和文件存在性验证
   • 脚本中会触发Keepalived数据转储(keepalived.data和keepalived.stats)
   • 禁用数据转储后，问题出现频率降低但未完全解决

5. 深入诊断：通过长期监控脚本发现：

   • Keepalived进程CPU使用率稳定
   • 高负载期间存在较高的I/O等待比例
   • 内存使用和交换空间情况正常

根本原因

经过多次测试和分析，确定问题的根本原因在于：

1. 频繁的数据转储操作：健康检查脚本中每5秒触发一次keepalived.data和keepalived.stats文件生成，这些I/O操作在某些情况下会阻塞。

2. 系统维护任务干扰：CentOS 7的systemd-tmpfiles服务会定期清理/tmp目录，可能与Keepalived的数据文件操作产生冲突。

3. 脚本执行机制：外部检查脚本的执行方式与Keepalived内部机制存在潜在的不协调。

解决方案

最终通过以下措施彻底解决了问题：

1. 升级Keepalived版本：使用v2.3.1版本，利用其内置的track_process和track_file功能替代外部检查脚本。

2. 优化监控方式：

   • 移除频繁的数据转储操作
   • 将必要的监控改为5分钟间隔
   • 仅保留真正需要的监控数据项

3. 配置调整：充分利用新版本的内置功能，减少外部脚本依赖。

经验总结

1. 对于关键服务的基础设施组件，应优先使用其内置功能而非外部脚本实现监控逻辑。

2. 高频的I/O操作(即使是轻量级的)在长期运行中可能产生累积效应，导致系统负载异常。

3. 系统维护任务(如临时文件清理)可能与应用程序的文件操作产生不可预见的交互影响。

4. 负载指标异常不一定对应明显的资源使用高峰，需要综合考虑各种系统因素。

通过这次问题排查，我们不仅解决了具体的负载异常问题，更重要的是建立了对Keepalived运行机制和系统交互更深入的理解，为今后类似问题的诊断提供了宝贵经验。