Spring Kafka 中自定义死信队列异常日志策略

在 Spring Kafka 项目中，处理消息消费失败时，通常会配置重试机制和死信队列(DLT)来处理无法正常消费的消息。本文将详细介绍如何自定义死信队列处理过程中的异常日志策略。

默认日志行为

Spring Kafka 的 DeadLetterPublishingRecovererFactory 类负责创建将消息发布到死信队列的恢复器。默认情况下，它会在重试次数耗尽后记录异常日志，日志级别为 ERROR。这种默认行为可能会导致预期内的业务异常也被记录到错误日志中，给日志监控和分析带来干扰。

可选的日志策略

Spring Kafka 提供了三种异常日志记录策略，通过 ListenerExceptionLoggingStrategy 枚举定义：

1. NEVER：从不记录监听器异常
2. EACH_ATTEMPT：每次重试尝试都记录异常
3. AFTER_RETRIES_EXHAUSTED：仅在重试耗尽后记录异常（默认值）

如何自定义日志策略

要修改默认的日志策略，可以通过 DeadLetterPublishingRecovererFactory 提供的两个便捷方法：

// 完全关闭异常日志记录
deadLetterPublishingRecovererFactory.neverLogListenerException();

// 每次重试都记录异常
deadLetterPublishingRecovererFactory.alwaysLogListenerException();

实际配置示例

在实际应用中，可以通过以下方式配置：

@Configuration
public class KafkaConfig {
    
    @Bean
    public DeadLetterPublishingRecoverer dltRecoverer(DestinationTopicResolver resolver) {
        DeadLetterPublishingRecovererFactory factory = new DeadLetterPublishingRecovererFactory(resolver);
        factory.neverLogListenerException(); // 关闭异常日志
        return factory.create();
    }
}

日志策略的内部实现

在底层，Spring Kafka 会根据设置的策略决定如何记录日志：

• 当消息被发送到死信队列时，如果策略不是 NEVER，会记录 ERROR 级别日志
• 当消息被丢弃(no-ops)时，如果策略不是 NEVER，会记录 ERROR 级别日志
• 在每次重试尝试时，如果策略是 EACH_ATTEMPT，会记录 ERROR 级别日志
• 其他情况下，仅记录 DEBUG 级别日志

最佳实践建议

1. 在开发环境可以保持默认设置或使用 EACH_ATTEMPT 策略，便于调试
2. 在生产环境，对于预期内的业务异常，建议使用 NEVER 策略避免污染错误日志
3. 结合日志级别配置，可以更灵活地控制日志输出

通过合理配置异常日志策略，可以使 Spring Kafka 应用的日志更加清晰，便于问题排查和监控。