【亲测免费】 私有化部署GPT（PrivateGPT）项目教程

1. 项目目录结构及介绍

项目的基本目录结构如下：

privateGPT/
├── app/                 # 应用核心代码
│   ├── api/             # API接口实现
│   ├── rag/             # 基于RAG的模型实现
│   └── utils/           # 工具函数
├── config.py            # 配置文件
├── requirements.txt     # 依赖库列表
├── docker-compose.yml   # Docker-compose配置文件
└── run.sh               # 启动脚本

• app: 存放应用的主要代码，包括API接口和RAG模型的实现。
• config.py: 项目配置文件，用于设置各种运行时参数。
• requirements.txt: 列出所有必要的Python包，用于安装依赖。
• docker-compose.yml: 使用Docker编排服务的配置文件，方便多容器部署。
• run.sh: 用于本地开发环境下的启动脚本。

2. 项目的启动文件介绍

在privateGPT根目录下，run.sh是启动私有化GPT服务的脚本。该脚本主要执行以下操作：

#!/bin/bash

cd app
poetry install --no-dev  # 安装生产环境所需依赖
cd ..
uvicorn app.main:app --host 0.0.0.0 --port 8000 --reload  # 运行FastAPI服务器

• poetry install --no-dev: 使用Poetry管理依赖，只安装生产环境中所需的库。
• uvicorn app.main:app: 使用Uvicorn作为ASGI服务器，启动app/main.py中定义的FastAPI应用实例。

如果你不是在Docker环境下运行，确保已全局安装poetry和uvicorn，然后可以运行./run.sh来启动服务。

3. 项目的配置文件介绍

config.py 文件包含了项目运行时的关键配置，例如模型路径、数据库连接等。示例配置可能如下：

class Config:
    MODELS_PATH = "./models"         # 模型文件存放路径
    DOCUMENTS_DIR = "./documents"   # 文档数据存储目录
    INDEX_NAME = "my_index"          # 索引名称
    VECTOR_STORE_BACKEND = "lmdb"   # 向量存储后端，默认为LMDB
    ENABLE_RELOAD = True             # 是否开启热加载（仅适用于开发模式）

可以根据实际需求修改这些变量值以适应你的本地环境。例如，MODELS_PATH应指向你的预训练语言模型所在的位置，DOCUMENTS_DIR则是用来存储和检索的文档目录。

完成以上步骤后，你就可以启动PrivateGPT服务并进行本地测试或集成到你的应用程序中了。记得在开始之前根据requirements.txt安装所有必要的依赖项。更多详细信息和高级设置，请参考项目官方文档：https://docs.privategpt.dev/。