syftr 的安装和配置教程

项目基础介绍

syftr 是一个帮助用户为其预算找到最佳代理工作流的优化器。用户可以提供自己的数据集，从模型和组件中构建搜索空间，然后 syftr 会找到适用于用户预算的最佳参数组合。该项目主要用于多目标贝叶斯优化，并引入了创新的领域特定 "Pareto Pruner" 来高效地采样代理和非代理流程，估算精度和成本、延迟、吞吐量等竞争目标之间的帕累托前沿（最优权衡曲线）。

该项目主要使用 Python 编程语言。

项目使用的关键技术和框架

syftr 构建在多个强大的开源项目之上，主要包括以下几种：

• Ray：用于在大型 CPU 和 GPU 集群上分发和扩展搜索。
• Optuna：提供了灵活的定义运行接口（类似于 PyTorch 的即时执行）和支持最先进的多目标优化算法。
• LlamaIndex：用于构建复杂的代理和非代理 RAG 工作流。
• HuggingFace Datasets：用于快速、协作和统一的数据集接口。
• Trace：用于优化工作流中的文本组件，如提示语。

安装和配置准备工作

在开始安装 syftr 之前，请确保您的系统中已安装以下依赖：

• Python 3.12.7 或更高版本
• Git

同时，您需要准备以下凭据：

• Azure OpenAI API 密钥
• Azure OpenAI 端点 URL（api_url）
• PostgreSQL 服务器 DSN（如果未提供 DSN，将使用本地 SQLite）

安装步骤

1. 克隆 syftr 存储库到您的本地环境：

   git clone https://github.com/datarobot/syftr.git
   cd syftr
   

2. 设置 Python 虚拟环境并激活：

   curl -LsSf https://astral.sh/uv/install.sh | sh
   uv venv --python 3.12.7
   source .venv/bin/activate
   

3. 同步开发依赖：

   uv sync --extra dev
   

4. 复制 config.yaml.sample 文件并重命名为 config.yaml，然后编辑所需的凭据和配置信息：

   cp config.yaml.sample config.yaml
   # 编辑 config.yaml 文件
   

5. 验证您的凭据和配置是否正确：

   make check
   

   注意，如果未提供 LLM 配置，大多数 LLM 连接可能会失败。

6. 运行示例 Jupyter 笔记本或直接使用用户 API 运行 syftr 研究来测试安装：

   • 运行示例 Jupyter 笔记本：

     # 在 examples 目录中运行相应的笔记本
     

   • 使用用户 API：

     from syftr import api
     s = api.Study.from_file("studies/example-dr-docs.yaml")
     s.run()
     s.wait_for_completion()
     print(s.pareto_flows)
     

按照以上步骤操作，您应该能够成功安装和配置 syftr 项目。