Portkey-AI网关新增批处理和文件统一API支持

Portkey-AI网关项目近期实现了一个重要功能更新，为开发者提供了批处理(batches)和文件(files)的统一API路由支持。这一功能升级显著提升了AI服务调用的灵活性和效率，特别是在处理批量任务和大文件时。

核心功能特性

本次更新主要包含三个关键功能点：

1. 统一文件API路由：开发者现在可以通过/v1/files端点统一管理所有文件相关操作
2. 统一批处理API路由：新增/v1/batches端点，提供批处理任务的标准化接口
3. 批处理结果获取：特别设计了/v1/batches/:batchId/output路由，方便开发者获取批处理任务的输出结果

技术实现细节

在v1版本中，该功能首先支持了三大主流AI服务提供商：

• OpenAI
• AWS Bedrock
• Cohere

值得注意的是，针对AWS Bedrock服务的实现需要特殊处理。由于Bedrock要求文件必须以分块形式上传到S3存储，且不支持未知内容长度的流式上传，开发团队专门设计了分块上传机制来满足这一限制条件。

性能优化考量

开发团队特别关注了内存使用效率问题，确保即使在worker环境中处理文件上传时：

• 严格限制内存消耗
• 文件转换过程中仅读取100KB大小的数据块
• 避免大文件一次性加载到内存

这种设计保证了网关在高并发环境下仍能保持稳定的性能表现，不会因为大文件处理而导致内存溢出或性能下降。

未来扩展方向

虽然当前版本已经支持三大主流平台，但团队计划在未来版本中继续扩展对其他平台的支持，包括Google Vertex AI和Azure OpenAI的批处理API。特别是针对这些平台的文件实时转换处理，需要更复杂的内存管理策略，这也是后续开发的重点之一。

这一功能更新为开发者提供了更统一、高效的AI服务调用方式，特别是在需要处理大批量任务或大文件时，能够显著简化开发流程，提升系统整体性能。