RestAI 开源项目教程

1、项目介绍

RestAI 是一个 AIaaS（AI as a Service）开源平台，旨在通过简单的 REST API 创建和使用 AI 项目。它基于 LlamaIndex、Ollama 和 HF Pipelines 构建，支持任何由 LlamaIndex 支持的公共 LLM 和 Ollama 支持的本地 LLM。RestAI 提供了精确的嵌入使用和调优功能，适用于各种 AI 项目，包括视觉识别、文本生成等。

2、项目快速启动

安装依赖

首先，确保你已经安装了 Poetry，这是一个用于管理 Python 依赖的工具。你可以通过以下命令安装 Poetry：

pip install poetry

克隆项目

使用 Git 克隆 RestAI 项目到本地：

git clone https://github.com/apocas/restai.git
cd restai

安装项目依赖

在项目根目录下，运行以下命令来安装项目依赖：

poetry install

启动开发环境

在开发模式下启动 RestAI：

make install
make dev

启动生产环境

在生产环境中启动 RestAI：

make install
make start

使用 Docker 启动

编辑 .env 文件以配置环境变量，然后使用 Docker Compose 启动服务：

docker compose --env-file .env up --build

3、应用案例和最佳实践

案例1：使用 RestAI 进行文本生成

RestAI 支持多种文本生成任务，例如使用 RAG（Retrieval-Augmented Generation）模型生成文本。以下是一个简单的示例，展示如何使用 RestAI 的 REST API 进行文本生成：

curl -X POST "http://localhost:8000/api/v1/generate" \
-H "Content-Type: application/json" \
-d '{"prompt": "生成一段关于人工智能的描述"}'

案例2：视觉识别

RestAI 还支持视觉识别任务，例如使用 Stable Diffusion 生成图像。以下是一个示例，展示如何使用 RestAI 的 REST API 进行图像生成：

curl -X POST "http://localhost:8000/api/v1/vision/text2img" \
-H "Content-Type: application/json" \
-d '{"prompt": "生成一张美丽的风景画"}'

最佳实践

• 嵌入调优：RestAI 提供了精确的嵌入调优功能，建议在实际应用中根据需求进行调优，以提高模型的性能。
• 自动 VRAM 管理：RestAI 自动管理 VRAM 的使用，按需加载和卸载模型，确保系统资源的有效利用。

4、典型生态项目

1. LlamaIndex

LlamaIndex 是一个用于构建和使用大型语言模型的开源库，RestAI 基于 LlamaIndex 构建，支持多种公共 LLM。

2. Ollama

Ollama 是一个用于本地 LLM 的开源平台，RestAI 支持 Ollama 支持的任何本地 LLM，提供了灵活的模型选择。

3. HF Pipelines

HF Pipelines 是 Hugging Face 提供的一个用于快速部署和使用 AI 模型的工具，RestAI 集成了 HF Pipelines，简化了模型的部署和使用。

通过这些生态项目，RestAI 构建了一个强大的 AIaaS 平台，适用于各种 AI 应用场景。