Portkey-AI Gateway项目：支持获取供应商特定响应字段的技术方案

在构建AI服务网关时，确保不同供应商API响应的一致性是一个常见挑战。Portkey-AI Gateway项目目前面临一个典型问题：它仅映射与OpenAI模式兼容的供应商响应字段，导致一些供应商特有的有价值信息在传输过程中丢失。

问题背景

现代AI服务提供商如Vertex AI等，除了返回标准化的响应外，还会包含一些特有的元数据字段。以Vertex AI为例，它返回的safetyRatings字段包含了模型输出的安全评级信息，这类信息对于开发者监控和评估模型行为非常有用。然而，由于这些字段没有对应的OpenAI模式映射，当前Gateway实现会直接过滤掉这些额外信息。

技术挑战

实现这一功能需要解决几个关键技术点：

1. 响应结构的多级映射：AI服务响应通常是嵌套的JSON结构，需要在不同层级保留原始字段
2. 性能考量：额外的字段处理不应显著影响网关的响应时间
3. 兼容性保证：默认情况下必须保持与OpenAI API的完全兼容
4. 配置传递：需要设计清晰的参数传递机制，包括配置文件和请求头两种方式

解决方案设计

核心机制

建议引入一个名为strict_open_ai_compliance的配置参数，可以通过两种方式指定：

1. 全局配置：在网关配置文件中设置默认值
2. 请求级覆盖：通过x-portkey-strict-open-ai-compliance请求头动态控制

该参数默认为true，即保持严格的OpenAI兼容模式。当设置为false时，网关将在响应中保留供应商特有的原始字段。

实现架构

1. 响应处理器扩展：

   • 在现有的响应转换管道中增加一个"字段保留"阶段
   • 对于每个供应商实现特定的字段保留逻辑
   • 根据配置决定是否执行此阶段

2. 字段保留策略：

   • 对已知的有价值字段(如Vertex AI的safetyRatings)进行显式保留
   • 提供通配机制保留所有未映射字段
   • 支持嵌套结构的深度处理

3. 性能优化：

   • 使用快速的对象合并算法
   • 对保留字段列表进行预编译
   • 实现零拷贝的字段复制机制

实施建议

建议采用分阶段实施策略：

1. 第一阶段：针对Vertex AI实现safetyRatings等关键字段的保留
2. 第二阶段：抽象出通用字段保留框架，支持所有供应商
3. 第三阶段：优化性能并添加高级配置选项

预期效益

这一改进将为Portkey-AI Gateway用户带来以下价值：

1. 更丰富的信息获取：开发者可以访问供应商特有的诊断和监控数据
2. 更好的调试能力：额外的元数据有助于分析模型行为
3. 平滑过渡：默认保持兼容性，不影响现有集成
4. 灵活性：按需选择响应详细程度

总结

在AI服务网关中平衡标准化和灵活性是一个持续的过程。Portkey-AI Gateway的这一改进将显著增强其作为多供应商统一接入层的价值，同时保持核心的兼容性保证。这种设计模式也可为其他类似API网关项目提供参考。