powerproxy-aoai 的安装和配置教程

1. 项目基础介绍和主要编程语言

powerproxy-aoai 是一个开源项目，用于监控和处理来自 Azure OpenAI 服务端点的流量。该项目作为服务“中间人”，可以实现智能负载均衡、按消费计费、自定义速率限制、监控和内容过滤等功能。它适用于各种托管服务，例如 Azure 容器应用或 Kubernetes，并且支持实时用户交互场景下的流式响应。该项目主要使用 Python 编程语言开发。

2. 项目使用的关键技术和框架

• 异步处理：powerproxy-aoai 使用异步处理技术，以提高处理速度和减少延迟。
• 负载均衡：项目不仅支持跨端点的负载均衡，还支持跨部署的负载均衡。
• Python：作为一种广泛使用的编程语言，Python 使得项目易于定制和扩展。
• 插件架构：项目的插件架构允许开发者根据需要添加自定义功能。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

• 确保安装了最新版本的 PowerShell（项目开发和测试使用的是 PowerShell 7.3）。
• 准备一个 Python 环境，并确保安装了 requirements.txt 中列出的所有依赖包。
• 克隆项目仓库到本地机器。

安装步骤

步骤 1：克隆项目仓库

使用以下命令克隆项目仓库到本地：

git clone https://github.com/timoklimmer/powerproxy-aoai.git

步骤 2：配置本地环境

• 进入项目目录，找到 config 文件夹。
• 将 config.example.yaml 文件复制为 config.local.yaml。
• 编辑 config.local.yaml 文件，填入适用于你环境的相应设置。

步骤 3：设置 Python 环境

• 使用 Visual Studio Code 打开项目文件夹。
• 激活包含所需依赖包的 Python 环境。

步骤 4：调试和运行

• 可选：在 powerproxy.py 中设置断点。
• 使用以下命令启动调试：

# 在 Visual Studio Code 中运行调试配置

步骤 5：访问 Azure OpenAI 服务

• 使用 http://localhost 作为 AOAI 服务的端点，代替实际的端点。
• 对于 API 密钥认证：使用配置文件中定义的任意密码作为 AOAI 密钥，代替 Azure AI Studio 中显示的密钥。
• 对于 Azure AD 认证：保持原样，不要发送 API 密钥，而是发送来自 Azure AD 的 bearer 令牌到认证头。

通过以上步骤，你可以成功安装和配置 powerproxy-aoai，并开始监控和处理 Azure OpenAI 服务端点的流量。