FastStream 0.5.31版本中自定义日志器失效问题分析

在FastStream 0.5.31版本中，用户报告了一个关于自定义日志器失效的问题。这个问题主要影响了KafkaBroker组件的日志输出格式，导致原本应该以JSON格式输出的日志变成了纯文本格式。

问题现象

在FastStream 0.5.30版本中，当用户通过以下方式配置自定义日志器时：

from faststream import FastStream
from faststream.confluent import KafkaBroker
from my_custom_logger import logger

broker = KafkaBroker(logger=logger)
app = FastStream(broker, logger=logger)

日志输出会保持用户自定义的JSON格式，例如：

{
  "extra": {},
  "level": "debug",
  "timestamp": "2024-12-03T10:30:07.245457Z",
  "message": "FETCH [faststream-0.5.30#consumer-6] [thrd:sasl_ssl://eventhub-namespace.servicebus.windows.net:9093/b]: sasl_ssl://eventhub-namespace.servicebus.windows.net:9093/0: Topic my_topic [0] MessageSet size 0, error \"Success\", MaxOffset 85, LSO 85, Ver 4/4"
}

但在升级到0.5.31版本后，同样的配置却产生了不同格式的日志输出：

%7|1733219914.207|FETCH|faststream-0.5.31#consumer-10| [thrd:sasl_ssl://eventhub-namespace.servicebus.windows.net:9093/b]: sasl_ssl://eventhub-namespace.servicebus.windows.net:9093/0: Topic mytopic [0] MessageSet size 0, error "Success", MaxOffset 8272, LSO 8272, Ver 2/2

技术分析

这个问题主要源于Confluent Kafka客户端库的调试消息处理方式发生了变化。在0.5.31版本中，FastStream框架没有正确地将这些调试消息路由到用户配置的自定义日志器中，而是直接使用了Confluent Kafka库的默认日志格式输出。

这种变化影响了以下方面：

1. 日志格式一致性：用户无法保持统一的JSON日志格式
2. 日志级别控制：原本可以通过DEBUG_LEVEL控制的调试信息现在可能无法按预期过滤
3. 错误诊断：重要的连接错误信息可能无法按照用户期望的方式记录

解决方案

开发团队已经注意到这个问题，并提出了修复方案。用户可以选择：

1. 等待下一个修复版本发布
2. 如果不需要Confluent Kafka的调试消息，可以暂时关闭相关日志
3. 回退到0.5.30版本以保持原有日志行为

这个问题提醒我们在框架升级时，需要特别注意日志系统的兼容性，特别是当框架依赖第三方库时，如何保持一致的日志处理方式是一个重要的设计考虑因素。