Logstash-logback-encoder中Protobuf对象日志丢失问题分析与解决方案

问题现象

在使用logstash-logback-encoder 7.4版本时，开发者发现当通过SLF4J v2的fluent API（如LOGGER.atError().withKeyValue("obj", protobufObject).log("test")）记录包含Protobuf对象的日志时，整个日志条目会被静默丢弃，没有任何错误提示或日志输出。这种情况发生在Java 17和21环境下，使用logback 1.4.14和jackson 2.16.1。

问题根源

经过深入分析，这个问题源于Jackson对Protobuf对象的序列化处理。当encoder尝试将Protobuf对象序列化为JSON时，会遇到循环引用问题：

Direct self-reference leading to cycle (through reference chain: 
TestMessage["unknownFields"]->UnknownFieldSet["defaultInstanceForType"])

由于Protobuf的内部实现中存在自引用结构，Jackson默认的序列化机制无法正确处理这种循环引用关系。更关键的是，logback在遇到序列化错误时默认不会将错误信息输出到应用日志，而是通过内部的status listener机制记录。

解决方案

方案一：使用Protobuf的Jackson扩展

最彻底的解决方案是引入专门处理Protobuf的Jackson模块：

1. 添加依赖：

<dependency>
    <groupId>com.hubspot.jackson</groupId>
    <artifactId>jackson-datatype-protobuf</artifactId>
    <version>最新版本</version>
</dependency>

2. 配置logstash-logback-encoder使用自定义ObjectMapper：

<encoder class="net.logstash.logback.encoder.LogstashEncoder">
    <jsonGeneratorDecorator class="net.logstash.logback.decorate.CustomJsonGeneratorDecorator">
        <customizer class="com.your.package.ProtobufJacksonModuleConfigurer"/>
    </jsonGeneratorDecorator>
</encoder>

其中ProtobufJacksonModuleConfigurer需要实现JsonGeneratorDecorator接口，注册Protobuf模块。

方案二：转换为可序列化格式

如果不想引入额外依赖，可以将Protobuf对象转换为其他格式：

// 使用toString()
LOGGER.atError()
    .withKeyValue("obj", protobufObject.toString())
    .log("message");

// 或者转换为ByteString
LOGGER.atError()
    .withKeyValue("obj", protobufObject.toByteString().toStringUtf8())
    .log("message");

方案三：启用logback状态监听

为了及时发现类似问题，建议在开发环境启用logback的状态监听：

<configuration>
    <statusListener class="ch.qos.logback.core.status.OnConsoleStatusListener"/>
    ...
</configuration>

最佳实践建议

1. 对于包含复杂对象的日志，建议先进行序列化测试
2. 生产环境建议配置日志监控，捕获日志丢失情况
3. 考虑实现fallback机制，当序列化失败时至少记录原始消息
4. 对于关键业务日志，建议采用防御性编程，先转换为安全格式再记录

总结

logstash-logback-encoder对Protobuf对象的静默丢弃行为确实会影响业务监控。通过理解Jackson的序列化机制和logback的错误处理方式，开发者可以选择合适的解决方案。对于长期项目，建议采用方案一的专业化处理；对于临时需求，方案二的转换方式更为快捷。无论采用哪种方案，启用状态监听都能帮助开发者更早发现类似问题。