LLM项目中的OpenAI请求响应日志功能实现解析

在LLM项目的开发过程中，调试和监控OpenAI API的请求与响应是一个重要需求。本文将深入探讨如何在项目中实现这一功能的技术细节。

背景与需求

在AI应用开发中，了解模型API的请求和响应内容对于调试和优化至关重要。LLM项目需要一种机制来记录和显示与OpenAI API的完整交互过程，包括请求头、请求体以及响应内容。

技术实现方案

HTTPX事件钩子机制

项目采用了Python的httpx库的事件钩子功能来拦截请求和响应。通过注册request和response事件钩子，可以在请求发送前和响应接收后执行自定义逻辑。

client = httpx.Client(event_hooks={
    'request': [log_request], 
    'response': [log_response]
})

请求日志记录

请求日志记录了以下关键信息：

• HTTP方法(GET/POST等)
• 请求URL
• 请求头(敏感信息如Authorization会被脱敏处理)
• 请求体内容

def log_request(request):
    click.echo(f"Request: {request.method} {request.url}")
    # 处理并输出请求头
    for key, value in request.headers.items():
        if key.lower() == "authorization":
            value = "[...]"  # 脱敏处理
        click.echo(f"    {key}: {value}")
    click.echo(f"  Body: {request.content}")

响应处理挑战

响应处理面临几个技术挑战：

1. 流式响应：对于流式传输(content-type: text/event-stream)，需要特殊处理以避免干扰正常的流处理逻辑
2. Gzip压缩：默认情况下响应可能被压缩，需要处理解压问题
3. 资源释放：需要确保正确关闭响应流，避免资源泄漏

流式响应处理

对于流式响应，项目实现了一个自定义的LoggingStream类来包装原始流：

class LoggingStream:
    def __iter__(self):
        for chunk in self._stream:
            click.echo(f"  Chunk: {chunk}", err=True)
            yield chunk

Gzip压缩处理

为避免处理压缩数据的复杂性，解决方案是修改请求头，明确声明不接受压缩响应：

# 移除accept-encoding头，避免接收压缩响应
request.headers.pop("accept-encoding", None)

实现效果

启用日志功能后，用户可以看到完整的请求和响应信息：

1. 非流式请求：显示完整的JSON响应体
2. 流式请求：显示每个数据块的原始内容
3. 敏感信息保护：自动对授权头等信息进行脱敏处理

技术价值

这一实现具有以下技术价值：

1. 调试友好：开发者可以清晰看到API交互细节
2. 性能透明：可以观察响应时间和数据量
3. 学习工具：帮助理解OpenAI API的工作机制
4. 兼容性强：同时支持流式和非流式请求

最佳实践建议

1. 生产环境中应谨慎启用此功能，避免日志泄露敏感信息
2. 考虑添加日志级别控制，区分开发和生产环境
3. 对于大型响应，可以实现分页或截断显示
4. 可以扩展支持其他AI服务提供商的API日志

这一功能的实现展示了如何在不干扰核心业务逻辑的前提下，为开发者提供强大的调试工具，是LLM项目中一个值得借鉴的技术实践。