Kong日志中请求头缺失问题的分析与解决方案

问题背景

在使用Kong 2.7版本作为API网关时，发现日志中未能正确记录请求头信息，特别是Host字段。这一问题影响了基于Host字段进行日志过滤和分析的需求。有趣的是，错误日志和部分警告日志中能够看到Host字段，但常规的INFO级别日志却缺失了这一关键信息。

问题分析

Kong作为API网关，理论上应该完整记录所有请求信息，包括请求头。日志中Host字段的缺失可能有以下几个原因：

1. 默认日志格式限制：Kong的默认日志格式可能没有包含所有请求头信息
2. 日志级别差异：不同日志级别可能采用不同的日志格式
3. 配置遗漏：可能缺少必要的配置来启用请求头记录

解决方案

通过自定义日志格式可以完美解决这一问题。以下是两种实现方式：

1. 直接修改Kong部署配置

env:
  - name: KONG_PROXY_ACCESS_LOG
    value: /dev/stdout custom_fmt
  - name: KONG_NGINX_HTTP_LOG_FORMAT
    value: |
      custom_fmt '[$time_local] host: "$host" request_url: "$request" status_code: "$status" request_time: "$request_time" IP: "$remote_addr" bytes_sent: "$bytes_sent" http_referer: "$http_referer" user_agent: "$http_user_agent"'

2. 使用Helm values.yaml配置

proxy_access_log: "/dev/stdout custom_fmt"
nginx_http_log_format: |
  custom_fmt '[$time_local] host: "$host" request_url: "$request" status_code: "$status" request_time: "$request_time" IP: "$remote_addr" bytes_sent: "$bytes_sent" http_referer: "$http_referer" user_agent: "$http_user_agent"'

自定义日志格式详解

上述解决方案中定义的自定义日志格式包含以下关键字段：

1. 时间戳：$time_local记录请求时间
2. 主机信息：$host记录请求的Host头
3. 请求URL：$request包含请求方法和路径
4. 状态码：$status记录HTTP响应状态
5. 请求耗时：$request_time记录请求处理时间
6. 客户端IP：$remote_addr记录客户端地址
7. 传输字节数：$bytes_sent记录响应大小
8. 来源页面：$http_referer记录Referer头
9. 用户代理：$http_user_agent记录客户端浏览器信息

实施建议

1. 测试环境验证：建议先在测试环境验证自定义日志格式
2. 日志轮转配置：确保日志系统能够处理增加的信息量
3. 监控调整：根据新的日志格式调整监控和告警规则
4. 性能评估：评估自定义日志对系统性能的影响

总结

通过自定义Kong的日志格式，可以灵活控制日志中包含的信息，满足特定的监控和分析需求。这一解决方案不仅解决了Host字段缺失的问题，还提供了完整的请求上下文信息，为API流量分析和故障排查提供了更丰富的数据支持。