Kong日志中请求头缺失问题的分析与解决方案

问题背景

在使用Kong 2.7版本作为API网关时，发现日志中未能完整记录请求头信息，特别是host字段。这一问题影响了基于主机名进行日志过滤的需求。有趣的是，错误日志和部分警告日志中能够看到host字段，但普通INFO级别的访问日志却缺失了这一关键信息。

问题分析

Kong默认的日志格式可能没有包含所有请求头信息。虽然应用程序自身的日志能够记录完整的请求头，但Kong作为前置代理却没有将这些信息传递到访问日志中。这种现象在API网关场景下尤为关键，因为：

1. 主机头(host)是虚拟主机路由的关键标识
2. 完整的请求头信息对于调试和监控至关重要
3. 许多安全审计和合规要求需要记录这些信息

解决方案

通过自定义Kong的日志格式可以完美解决这个问题。以下是两种配置方式：

直接修改Kong部署配置

env:
  - name: KONG_PROXY_ACCESS_LOG
    value: /dev/stdout custom_fmt
  - name: KONG_NGINX_HTTP_LOG_FORMAT
    value: |
      custom_fmt '[$time_local] host: "$host" request_url: "$request" status_code: "$status" request_time: "$request_time" IP: "$remote_addr" bytes_sent: "$bytes_sent" http_referer: "$http_referer" user_agent: "$http_user_agent"'

使用Helm values.yaml配置

kong:
  env:
    proxy_access_log: "/dev/stdout custom_fmt"
    nginx_http_log_format: |
      custom_fmt '[$time_local] host: "$host" request_url: "$request" status_code: "$status" request_time: "$request_time" IP: "$remote_addr" bytes_sent: "$bytes_sent" http_referer: "$http_referer" user_agent: "$http_user_agent"'

技术细节

这个解决方案的核心是：

1. 定义了一个名为custom_fmt的自定义日志格式
2. 显式包含了host等关键请求头信息
3. 保留了请求时间、状态码等基本指标
4. 通过KONG_PROXY_ACCESS_LOG环境变量指定使用自定义格式

最佳实践建议

1. 根据实际监控需求，可以扩展日志格式包含更多字段
2. 考虑日志体积和存储成本，只记录必要的字段
3. 在测试环境验证日志格式后再应用到生产环境
4. 对于大规模部署，考虑使用结构化日志格式(如JSON)便于解析

总结

通过自定义日志格式，我们成功解决了Kong日志中请求头缺失的问题。这一方案不仅适用于host字段，也可以扩展到其他需要记录的请求头信息。这种灵活的日志配置能力正是Kong作为成熟API网关的优势之一。