使用structlog实现多格式日志输出：控制台与文件分离

在Python日志处理中，structlog是一个强大的结构化日志库，它提供了比标准logging模块更灵活的功能。本文将介绍如何使用structlog实现同时向不同输出目标（控制台和文件）输出不同格式日志的高级配置方案。

问题背景

在实际开发中，我们经常需要将日志同时输出到多个目的地，并且每个目的地可能需要不同的格式。例如：

• 控制台输出：需要人类可读的格式（如ConsoleRenderer或LogfmtRenderer）
• 文件输出：需要结构化格式（如JSONRenderer）便于后续日志分析

解决方案

structlog通过处理器链（processors chain）机制，可以灵活地实现这种需求。核心思路是在处理器链中插入自定义处理器，将日志事件同时输出到不同目标。

完整实现代码

import structlog
import sys
import logging
from pathlib import Path

# 配置标准logging模块的文件处理器
file_handler = logging.FileHandler(Path("file_handler.log"))
root_logger = logging.getLogger()
root_logger.addHandler(file_handler)
root_logger.setLevel(logging.NOTSET)

# 自定义控制台输出处理器
class ConsoleOutProcessor:
    def __init__(self, stream):
        self._formatter = structlog.dev.ConsoleRenderer()
        self._writer = structlog.WriteLogger(stream)

    def __call__(self, logger, method, event):
        ev = event.copy()
        self._writer.msg(self._formatter(logger, method, event))
        return ev

# 配置structlog
structlog.configure(
    processors=[
        structlog.processors.add_log_level,
        structlog.processors.TimeStamper(fmt="iso"),
        structlog.dev.set_exc_info,
        structlog.processors.StackInfoRenderer(),
        ConsoleOutProcessor(sys.stdout),  # 控制台输出
        structlog.dev.ConsoleRenderer(),  # 可选，用于调试
        structlog.processors.JSONRenderer(),  # 文件输出
    ],
    logger_factory=structlog.stdlib.LoggerFactory(),
)

# 使用示例
logger = structlog.get_logger()
logger.info("Info message", a=1, b=2)
logger.error("Error message", a=1, b=2)
try:
    1/0
except:
    logger.exception("boom")

关键点解析

1. 处理器顺序：structlog的处理器是按顺序执行的，因此控制台输出处理器(ConsoleOutProcessor)必须放在JSONRenderer之前。

2. ConsoleOutProcessor：这个自定义处理器实现了：

   • 使用ConsoleRenderer格式化日志为人类可读格式
   • 通过WriteLogger将格式化后的日志写入指定流（如sys.stdout）
   • 返回原始事件字典，不影响后续处理器

3. JSONRenderer：作为最后一个处理器，它将日志事件转换为JSON字符串，然后通过标准logging模块写入文件。

4. 异常处理：structlog.dev.set_exc_info处理器会自动捕获异常信息，与logger.exception()配合使用可以输出完整的堆栈跟踪。

进阶建议

1. 性能考虑：在生产环境中，可以考虑使用structlog.processors.format_exc_info代替structlog.dev.set_exc_info，因为它性能更好。

2. 日志级别过滤：可以在处理器链中添加structlog.stdlib.filter_by_level处理器来实现不同级别的日志过滤。

3. 异步日志：对于高性能应用，可以考虑使用structlog的异步处理器来避免I/O阻塞。

4. 多文件输出：通过扩展此方案，可以实现向多个文件输出不同格式的日志。

通过这种配置，开发者可以同时获得开发时的友好日志显示和生产环境中的结构化日志存储，兼顾了开发便利性和运维需求。