Bedrock Access Gateway 使用教程

1、项目介绍

Bedrock Access Gateway（BAG）是一个开源项目，旨在提供一个开箱即用、兼容OpenAI的代理功能，帮助用户轻松无缝地从OpenAI迁移到Amazon Bedrock。Amazon Bedrock服务支持一系列领先的基础模型，为客户提供多种选择，满足不同业务场景的需求。通过BAG，用户无需修改现有代码即可使用Amazon Bedrock的多种大型语言模型（LLM）。

2、项目快速启动

以下是快速启动Bedrock Access Gateway的步骤：

步骤 1：创建自定义API密钥（可选）

1. 打开AWS管理控制台，导航到系统管理服务。
2. 在左侧导航栏中，点击“参数存储”。
3. 点击“创建参数”按钮。
4. 在“创建参数”窗口中，选择以下选项：
   • 名称：输入参数的描述性名称（例如：“BedrockProxyAPIKey”）。
   • 描述：可选，提供参数的描述。
   • 级别：选择“标准”。
   • 类型：选择“SecureString”。
   • 值：输入任何无空格的字符串。
5. 点击“创建参数”。
6. 记录您使用的参数名称（例如：“BedrockProxyAPIKey”），您将在下一步中使用它。

步骤 2：部署CloudFormation堆栈

1. 登录AWS管理控制台，切换到要部署CloudFormation堆栈的区域。
2. 点击以下按钮以在所选区域启动CloudFormation堆栈：
   • 部署CloudFormation堆栈
3. 在“指定堆栈详情”页面上，提供以下信息：
   • 堆栈名称：如有需要，更改堆栈名称。
   • ApiKeyParam（如果您在步骤1中设置了API密钥）：输入您用于存储API密钥的参数名称（例如：“BedrockProxyAPIKey”）。 如果您没有设置API密钥，请留空此字段。
4. 点击“下一步”。
5. 在“配置堆栈选项”页面上，您可以保留默认设置或根据需要自定义。
6. 点击“下一步”。
7. 在“审阅”页面上，审阅您即将创建的堆栈详情。
8. 勾选底部的“我确认AWS CloudFormation可能会创建IAM资源”复选框。
9. 点击“创建堆栈”。

一旦部署完成，点击CloudFormation堆栈并转到“输出”选项卡，您可以找到API Base URL。

步骤 3：使用API

部署后，您可以使用以下代码示例来调用API：

export OPENAI_API_KEY=<API key>
export OPENAI_BASE_URL=<API base url>

curl $OPENAI_BASE_URL/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $OPENAI_API_KEY" \
    -d '[ "model": "anthropic_claude-3-sonnet-20240229-v1:0", "messages": [ [ "role": "user", "content": "Hello" ] ] ]'

3、应用案例和最佳实践

应用案例

• 使用Bedrock Access Gateway将现有的OpenAI API调用无缝迁移到Amazon Bedrock。
• 在不直接支持Amazon Bedrock的开源项目或工具中，通过代理使用Amazon Bedrock模型。

最佳实践

• 在部署前，确保您的AWS账户有访问Amazon Bedrock模型的权限。
• 确保在部署过程中提供正确的API密钥和参数。

4、典型生态项目

目前，Bedrock Access Gateway项目作为一个开源解决方案，已经成为Amazon Bedrock生态系统中的一部分，它可以帮助开发者在不同的场景下更加灵活地使用Amazon Bedrock的模型。随着项目的不断发展和社区的贡献，我们可以期待更多基于Bedrock Access Gateway的创新应用出现。