Rsyslog连接中断问题分析与解决方案

问题现象

在使用Rsyslog 8.2102.0-15.el8版本进行日志转发时，系统日志中出现以下关键错误信息：

1. 远程服务器主动关闭连接警告
2. 转发动作被临时挂起
3. 转发动作自动恢复

典型错误消息显示连接被远程对等端（可能是中间设备如防火墙或负载均衡器）中断，Rsyslog随后尝试重新建立连接。

根本原因分析

这种连接中断通常由以下因素导致：

1. 网络中间件干预

   • 防火墙会话超时机制
   • 负载均衡器的连接管理策略
   • 网络设备的安全策略限制

2. TCP连接保持问题

   • 长时间空闲连接被终止
   • TLS会话超时

3. Rsyslog配置因素

   • 缺少连接保持机制
   • 未配置适当的重试策略

技术验证方法

网络层检查

1. 使用tcpdump抓包分析TCP连接状态

   tcpdump -i eth0 host 目标IP and port 目标端口
   

2. 检查连接跟踪表

   conntrack -L | grep 目标IP
   

Rsyslog配置优化

建议在转发配置中添加以下参数：

action(
    type="omfwd"
    Target="目标IP"
    Port="目标端口"
    Protocol="tcp"
    StreamDriver="gtls"
    StreamDriverMode="1"
    StreamDriverAuthMode="anon"
    RebindInterval="60"       # 定期重建连接
    KeepAlive="on"            # 启用TCP保活
    KeepAlive.Probes="3"      # 保活探测次数
    KeepAlive.Interval="10"   # 探测间隔(秒)
    KeepAlive.Time="60"       # 空闲超时
    queue.type="linkedList"   # 启用队列
    queue.size="100000"       # 队列大小
    action.resumeRetryCount="-1" # 无限重试
)

最佳实践建议

1. 连接保持策略

   • 配置定期心跳消息（如通过cron定时发送测试日志）
   • 示例心跳命令：

     * * * * * echo "HEARTBEAT $(hostname) $(date)" | logger -t syslog_keepalive
     

2. 网络设备协调

   • 与网络团队确认中间设备超时设置
   • 建议将Rsyslog相关连接的超时时间调整为30分钟以上

3. 监控方案

   • 监控队列积压情况（通过rsyslog统计信息）
   • 设置连接中断告警阈值

4. TLS优化

   • 检查证书有效期
   • 考虑使用双向TLS认证提高安全性

高级调试技巧

1. 启用Rsyslog调试模式：

   rsyslogd -dn > debug.log 2>&1
   

2. 检查内核网络参数：

   sysctl -a | grep net.ipv4.tcp_keepalive
   

3. 网络质量测试：

   mtr --tcp --port 目标端口 目标IP
   

通过以上综合措施，可以有效解决因网络环境导致的Rsyslog连接中断问题，确保日志传输的可靠性。