WebGLM 项目使用教程

1. 项目目录结构及介绍

WebGLM 项目的目录结构如下：

WebGLM/
├── assets/
├── data/
├── evaluate/
├── model/
├── scripts/
├── .gitignore
├── LICENSE
├── MODEL_LICENSE
├── README.md
├── README_zh.md
├── arguments.py
├── cli_demo.py
├── download.py
├── evaluate.py
├── requirements.txt
├── train_retriever.py
└── web_demo.py

目录介绍

• assets/: 存放项目相关的静态资源文件。
• data/: 存放项目所需的数据文件。
• evaluate/: 存放评估相关的脚本和文件。
• model/: 存放模型的相关文件。
• scripts/: 存放项目的脚本文件，如启动脚本、配置脚本等。
• .gitignore: Git 忽略文件，指定哪些文件或目录不需要被 Git 管理。
• LICENSE: 项目的开源许可证文件。
• MODEL_LICENSE: 模型的开源许可证文件。
• README.md: 项目的英文介绍文档。
• README_zh.md: 项目的中文介绍文档。
• arguments.py: 处理命令行参数的脚本。
• cli_demo.py: 命令行界面的启动脚本。
• download.py: 下载项目所需资源的脚本。
• evaluate.py: 评估模型的脚本。
• requirements.txt: 项目依赖的 Python 包列表。
• train_retriever.py: 训练检索器的脚本。
• web_demo.py: Web 服务形式的启动脚本。

2. 项目启动文件介绍

cli_demo.py

cli_demo.py 是 WebGLM 项目的命令行界面启动文件。通过该文件，用户可以在命令行中与 WebGLM 进行交互。

使用方法

python cli_demo.py -w THUDM/WebGLM-2B

或者直接启动 WebGLM-10B 模型：

python cli_demo.py

如果需要使用 Bing 搜索而不是 SerpAPI，可以在命令行中添加 --searcher bing：

python cli_demo.py -w THUDM/WebGLM-2B --searcher bing

web_demo.py

web_demo.py 是 WebGLM 项目的 Web 服务启动文件。通过该文件，用户可以在浏览器中与 WebGLM 进行交互。

使用方法

python web_demo.py -w THUDM/WebGLM-2B --searcher bing

3. 项目的配置文件介绍

requirements.txt

requirements.txt 文件列出了 WebGLM 项目运行所需的 Python 包及其版本。用户可以通过以下命令安装这些依赖包：

pip install -r requirements.txt

.gitignore

.gitignore 文件用于指定哪些文件或目录不需要被 Git 管理。例如，临时文件、日志文件、虚拟环境等通常会被忽略。

arguments.py

arguments.py 文件用于处理命令行参数。它定义了启动 WebGLM 时可以使用的各种参数，如模型路径、搜索方式等。

download.py

download.py 文件用于下载项目所需的资源，如检索器权重、训练数据等。用户可以通过以下命令下载检索器权重：

python download.py retriever-pretrained-checkpoint

train_retriever.py

train_retriever.py 文件用于训练检索器。用户可以通过以下命令启动训练：

python train_retriever.py --train_data_dir /download/retriever-training-data

evaluate.py

evaluate.py 文件用于评估模型的性能。用户可以通过以下命令启动评估：

bash scripts/triviaqa.sh

通过以上介绍，用户可以更好地理解和使用 WebGLM 项目。