SimpleAI 项目使用与配置教程

1. 项目目录结构及介绍

SimpleAI 是一个开源项目，旨在提供一个自托管的 AI API，与开放的 AI API 兼容。项目的目录结构如下：

• assets/：存储项目相关的文档和图片资源。
• examples/：包含了一些使用 SimpleAI 的示例代码。
• src/：源代码目录，包含了项目的核心实现。
  • api/：定义了与 AI 模型交互的 API 接口。
  • grpc/：包含了 gRPC 服务的相关代码。
  • server/： SimpleAI 服务器的主逻辑。
• .gitignore：定义了 Git 忽略的文件和目录。
• LICENSE：项目的许可协议文件。
• Makefile：构建脚本，用于自动化项目的某些任务。
• README.md：项目的自述文件，包含了项目的基本信息和使用说明。
• poetry.lock：Poetry 包管理工具的锁文件，确保依赖的一致性。
• pyproject.toml：定义了项目的元数据和依赖关系。

2. 项目的启动文件介绍

项目的启动主要通过 src/server/ 目录下的脚本进行。主要启动脚本如下：

• app.py：FastAPI 应用程序的入口点，定义了 API 路由和中间件。
• main.py：用于启动 SimpleAI 服务器的脚本，通常包含服务的配置和启动逻辑。

启动服务器通常使用以下命令：

python main.py

或者，如果使用了 Makefile，可以使用以下命令：

make run

3. 项目的配置文件介绍

SimpleAI 使用 models.toml 配置文件来定义和管理不同的 AI 模型。配置文件通常位于项目的根目录。

models.toml 文件的基本结构如下：

[llama-7B-4b]
metadata.owner = 'Meta / ggerganov'
metadata.permission = []
metadata.description = 'C++ implementation of LlaMA model, 7B parameters, 4-bit quantization'

[network]
url = 'localhost:50051'
type = 'gRPC'

在上面的示例中，llama-7B-4b 是定义的模型名称，metadata 部分包含了模型的元数据，如所有者、权限和描述。network 部分定义了模型的网络配置，包括模型的 URL 和类型。

要在项目中添加新的模型，需要在 models.toml 文件中按照上述格式添加相应的条目，并确保模型已经部署并可以通过配置的 URL 访问。

通过上述步骤，您可以对 SimpleAI 项目有一个基本的了解，并能够根据需要对其进行配置和使用。