KServe中如何配置Agent容器转发X-Forwarded-For等请求头

在基于KServe构建机器学习推理服务时，日志收集是监控和审计的重要环节。许多用户会通过配置InferenceService的logger字段将推理日志发送到Logstash等日志系统。然而在实际使用中（特别是KServe 0.10.0和0.15.0版本），开发者发现Agent容器会默认剥离X-Forwarded-For等关键HTTP头信息，导致原始客户端信息丢失。

问题本质分析

KServe的Agent容器作为请求代理，默认出于安全考虑会过滤某些HTTP头。这种行为虽然符合安全最佳实践，但在需要完整请求追踪的场景下，特别是需要记录客户端真实IP（通过X-Forwarded-For）或实现全链路追踪（通过X-Request-Id）时，就产生了需求冲突。

解决方案详解

KServe的Agent容器实际上提供了--metadata-headers参数来支持白名单机制。该参数允许开发者指定需要透传的HTTP头字段。配置方式如下：

args:
  - --metadata-headers=x-forwarded-for,x-request-id

这个配置需要注入到Agent容器的启动参数中。在KServe的InferenceService资源定义中，可以通过以下两种方式实现：

方法一：通过ConfigMap全局配置

1. 创建或修改kserve-config ConfigMap
2. 在agent配置段中添加metadata-headers参数
3. 这将影响所有部署在该命名空间下的InferenceService

方法二：通过PodTemplateSpec定制

对于需要特殊配置的单个服务，可以在InferenceService定义中通过podTemplateSpec覆盖默认配置：

spec:
  predictor:
    podTemplateSpec:
      spec:
        containers:
        - name: kserve-container
          args:
          - --metadata-headers=x-forwarded-for,x-request-id

实现注意事项

1. 安全性考虑：只透传必要的头信息，避免敏感信息泄露
2. 性能影响：额外的头信息会增加网络传输开销
3. 版本兼容性：不同KServe版本对参数的支持可能略有差异
4. 日志系统适配：确保日志收集系统能够解析这些额外的元数据

最佳实践建议

1. 对于需要全链路追踪的场景，建议同时配置：

   • X-Request-Id（请求唯一标识）
   • X-Forwarded-For（客户端IP）
   • User-Agent（客户端类型）

2. 在生产环境中，建议通过ConfigMap进行统一管理，避免每个服务单独配置

3. 配合使用KServe的日志采样功能，在高并发场景下平衡日志量和信息完整性

通过合理配置metadata-headers参数，开发者可以在安全性和可观测性之间取得平衡，为机器学习推理服务构建完善的监控体系。