PreSumm 项目使用教程

1. 项目目录结构及介绍

PreSumm 项目的目录结构如下：

PreSumm/
├── bert_data/
├── json_data/
├── logs/
├── models/
├── raw_data/
├── results/
├── src/
│   ├── __init__.py
│   ├── data_builder.py
│   ├── models.py
│   ├── train.py
│   ├── utils.py
│   └── ...
├── urls/
├── LICENSE
├── README.md
└── requirements.txt

目录介绍

• bert_data/: 存放预处理后的 BERT 数据文件。
• json_data/: 存放预处理后的 JSON 数据文件。
• logs/: 存放训练和验证过程中的日志文件。
• models/: 存放训练好的模型文件。
• raw_data/: 存放原始数据文件。
• results/: 存放生成的摘要结果文件。
• src/: 项目的源代码目录，包含主要的 Python 脚本。
  • data_builder.py: 数据预处理脚本。
  • models.py: 模型定义脚本。
  • train.py: 训练脚本。
  • utils.py: 工具函数脚本。
• urls/: 存放数据集的 URL 文件。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍和使用说明。
• requirements.txt: 项目依赖的 Python 包列表。

2. 项目的启动文件介绍

项目的启动文件主要是 src/train.py，该文件负责模型的训练和验证。以下是启动文件的主要功能介绍：

train.py

• 功能: 负责模型的训练、验证和测试。
• 主要参数:
  • -task: 任务类型，可以是 ext（抽取式摘要）或 abs（生成式摘要）。
  • -mode: 运行模式，可以是 train（训练）、validate（验证）或 test（测试）。
  • -bert_data_path: BERT 数据文件的路径。
  • -model_path: 模型保存路径。
  • -log_file: 日志文件路径。
  • -visible_gpus: 可见 GPU 列表。
  • -batch_size: 批处理大小。
  • -train_steps: 训练步数。
  • -save_checkpoint_steps: 保存检查点的步数。

示例命令

python src/train.py -task ext -mode train -bert_data_path bert_data -model_path models -log_file logs/train.log -visible_gpus 0 -batch_size 3000 -train_steps 50000 -save_checkpoint_steps 1000

3. 项目的配置文件介绍

项目的配置文件主要是 requirements.txt，该文件列出了项目运行所需的 Python 包及其版本。

requirements.txt

torch==1.1.0
pytorch_transformers
tensorboardX
multiprocess
pyrouge

安装依赖

使用以下命令安装项目依赖：

pip install -r requirements.txt

其他配置

• 环境变量: 项目可能需要设置一些环境变量，例如 CLASSPATH 用于指定 Stanford CoreNLP 的路径。
• 数据预处理: 数据预处理步骤在 src/preprocess.py 中定义，需要根据具体数据集进行配置。

通过以上步骤，您可以成功启动并配置 PreSumm 项目，进行文本摘要任务的训练和验证。