Rsyslog高CPU占用问题分析与解决方案：空闲TCP连接引发的性能陷阱

问题现象

在Rsyslog最新主分支版本(7b79492)中，当系统存在多个已建立的TCP连接(通过imtcp模块)但处于空闲状态时，Rsyslog进程会出现异常的高CPU占用现象。监控数据显示，即使没有任何日志数据传输，进程CPU使用率可高达169%，严重消耗系统资源。

技术背景

Rsyslog作为高性能的日志处理系统，其网络通信模块基于Linux的epoll机制实现。epoll是Linux特有的I/O事件通知机制，能够高效处理大量文件描述符的I/O事件。正常情况下，epoll应该只在有实际I/O活动时唤醒处理线程。

问题根源分析

通过系统调用追踪(strace)发现，问题线程处于以下循环状态：

1. 对TCP套接字执行非阻塞recvfrom调用，返回EAGAIN错误(表示无数据可读)
2. 通过epoll_ctl重新注册套接字事件，设置EPOLLIN|EPOLLOUT标志
3. 立即重复上述操作

深入分析表明，问题关键在于epoll事件注册时错误地包含了EPOLLOUT(可写事件)标志。由于TCP连接始终处于可写状态(除非发送缓冲区满)，这导致：

• epoll持续报告可写事件
• 处理线程被不必要地频繁唤醒
• 形成无意义的忙等待循环

解决方案

正确的处理方式应该是：

1. 对于纯输入型连接(如imtcp)，不应监听EPOLLOUT事件
2. 仅在确实需要写入数据时临时注册EPOLLOUT事件
3. 写入完成后立即取消EPOLLOUT监听

技术启示

1. epoll事件管理：必须精确控制监听的事件类型，避免过度监听导致性能问题
2. 连接状态处理：对于单向通信的连接，应该明确其数据流向特性
3. 资源利用优化：系统空闲时应最小化CPU占用，这对长期运行的守护进程尤为重要

最佳实践建议

1. 生产环境中应对Rsyslog进行CPU使用率监控
2. 对于高并发连接场景，建议进行专门的性能测试
3. 定期更新Rsyslog版本以获取性能优化修复
4. 在配置大量网络输入源时，注意观察系统资源使用情况

该问题的修复体现了系统软件中I/O事件处理的精妙平衡，也展示了Linux高性能网络编程中细节决定成败的特点。通过精确控制事件监听类型，可以显著提升系统在空闲状态下的资源利用率。