开源项目 `hands-on-llms` 使用教程

1. 项目的目录结构及介绍

hands-on-llms 项目的目录结构如下：

hands-on-llms/
├── dataset_analysis/
├── media/
├── modules/
│   ├── financial_bot/
│   ├── streaming_pipeline/
│   └── training_pipeline/
├── github/
│   └── workflows/
├── vscode/
├── .gitignore
├── LICENSE
└── README.md

目录结构介绍

• dataset_analysis/: 包含数据集分析的相关文件。
• media/: 包含项目中使用的媒体文件。
• modules/: 包含项目的核心模块，包括：
  • financial_bot/: 金融顾问LLM系统的推理模块。
  • streaming_pipeline/: 实时流处理模块。
  • training_pipeline/: 训练模块。
• github/workflows/: 包含GitHub Actions的工作流配置文件。
• vscode/: 包含VSCode的配置文件。
• .gitignore: Git忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目介绍和使用说明。

2. 项目的启动文件介绍

项目的启动文件主要分布在 modules/ 目录下，每个模块都有自己的启动文件。以下是主要模块的启动文件介绍：

2.1 modules/training_pipeline/

• train.py: 训练管道的启动文件，负责加载数据集、微调LLM模型并记录训练实验。

2.2 modules/streaming_pipeline/

• stream.py: 实时流处理管道的启动文件，负责从Alpaca获取金融新闻、清洗和转换数据，并将嵌入存储到Qdrant向量数据库中。

2.3 modules/financial_bot/

• app.py: 推理管道的启动文件，负责下载微调后的模型、处理用户查询、查询Qdrant向量数据库并调用LLM提供金融建议。

3. 项目的配置文件介绍

项目的配置文件主要用于设置外部服务和环境变量。以下是主要的配置文件介绍：

3.1 modules/training_pipeline/config.py

• config.py: 训练管道的配置文件，包含数据集路径、模型路径、Comet ML的API密钥等配置。

3.2 modules/streaming_pipeline/config.py

• config.py: 流处理管道的配置文件，包含Alpaca API密钥、Qdrant API密钥等配置。

3.3 modules/financial_bot/config.py

• config.py: 推理管道的配置文件，包含Comet ML的API密钥、Qdrant API密钥等配置。

通过以上介绍，您可以更好地理解和使用 hands-on-llms 项目。