Higress AI 代理插件对接百度文心一言 API 升级实践

背景介绍

在云原生 API 网关 Higress 的 AI 代理插件中，对百度文心一言大模型 API 的对接方式从 v1 版本升级到 v2 版本是一项重要的技术改进。这一升级不仅解决了原有实现中的一些限制，还带来了更好的兼容性和更简单的使用体验。

v1 API 的局限性

在最初的实现中，Higress 使用的是百度文心一言的 v1 API 接口。这个版本存在几个明显的技术限制：

1. 访问令牌过期问题：v1 API 使用的 access token 有固定的 30 天有效期限制，这意味着用户需要定期更新令牌，增加了维护成本。

2. 协议兼容性问题：v1 API 的认证和调用方式与 OpenAI 等主流 AI 服务的协议不兼容，导致在 Higress 中需要为不同供应商实现不同的处理逻辑。

v2 API 的技术优势

升级到 v2 API 带来了以下技术改进：

1. 灵活的认证机制：v2 API 支持 bearer token 认证方式，用户可以配置不过期的令牌，大大简化了长期使用的维护工作。

2. 协议标准化：v2 API 的设计与 OpenAI 协议兼容，这意味着在 Higress 中可以复用更多通用逻辑，减少特殊处理代码。

3. 性能优化：新版本的 API 在请求响应格式和错误处理方面更加规范，有助于提升整体系统的稳定性。

实现细节

在 Higress 的 wasm-go 插件中，百度文心一言的 provider 实现位于 extensions/ai-proxy/provider/baidu.go 文件中。升级到 v2 API 主要涉及以下几个技术点：

1. 认证头变更：从原来的 access token 认证改为标准的 bearer token 认证方式。

2. 请求格式调整：v2 API 的请求体格式与 OpenAI 更加接近，可以复用部分通用结构体。

3. 错误处理优化：新版本提供了更规范的错误码和错误信息，便于在插件中进行统一处理。

升级带来的架构改进

这一升级对 Higress 的 AI 代理插件架构产生了积极影响：

1. 代码简化：由于与 OpenAI 协议兼容，可以减少特殊处理逻辑，使代码更加简洁。

2. 可维护性提升：统一的协议标准使得新增其他 AI 服务提供商更加容易。

3. 用户体验改善：用户不再需要定期更新令牌，使用体验更加流畅。

总结

Higress 通过将百度文心一言的对接从 v1 API 升级到 v2 API，不仅解决了原有实现中的技术限制，还提升了系统的整体兼容性和可维护性。这一改进体现了 Higress 团队对技术前沿的持续关注和对用户体验的重视，为构建更加强大和易用的云原生 AI 网关奠定了基础。