Rsyslog模板与变量转换的高级应用技巧

核心问题场景

在日志收集场景中，我们经常需要处理来自不同来源的异构日志格式。这些日志可能具有完全不同的结构，但最终都需要经过格式转换后统一发送到中央日志服务器。传统做法是为每种日志格式配置独立的输入模板和转发动作，但这会导致连接数激增（特别是使用omrelp模块时），影响系统性能。

Rsyslog的变量处理机制

Rsyslog提供了灵活的变量系统来处理这类场景，主要包含三类命名空间：

1. $!变量组：标准变量命名空间，通常用于存储从消息中解析出的字段
2. **$.变量组**：功能与$!相同，但按照惯例用于存储不希望在$!中出现的元数据类信息
3. $\变量组：跨消息持久化变量，使用时需注意多线程环境下的竞态条件

高效解决方案：变量预处理+统一转发

通过execute_template()函数可以实现先转换后转发的处理流程：

1. 预处理阶段：使用条件判断识别不同日志来源，分别调用对应的模板进行格式化
2. 变量存储：将格式化结果存入自定义变量（如$.msg）
3. 统一转发：配置单一转发动作，使用包含$.msg的统一输出模板

# 示例配置
if $inputname == 'source1' then {
    set $.msg = execute_template("template_for_source1");
} else if $inputname == 'source2' then {
    set $.msg = execute_template("template_for_source2");
}

# 统一转发配置
action(type="omrelp" target="central.server" template="final_output_template")

其中final_output_template定义为：

template(name="final_output_template" type="string" string="%$.msg%")

调试技巧

开发过程中可以使用RSYSLOG_DebugFormat模板输出中间变量值：

template(name="debug" type="string" string="%RSYSLOG_DebugFormat%")
action(type="omfile" file="/tmp/debug.log" template="debug")

性能考量

1. 相比多动作配置，单连接方案显著降低系统资源消耗
2. 避免使用$\跨消息变量，除非确实需要持久化状态
3. 对于统计类需求，优先考虑dynastats计数器而非变量

最佳实践建议

1. 保持模板的单一职责原则，每个模板只处理一种格式转换
2. 使用有意义的变量名区分不同处理阶段的数据
3. 复杂场景可结合property replacer进行字段级操作
4. 生产环境应关闭调试输出以避免性能影响

这种架构既保持了配置的清晰性，又实现了高效的日志处理流水线，特别适合需要处理多种异构日志源的企业级场景。