BertSum 开源项目教程

1. 项目的目录结构及介绍

BertSum/
├── bert_config.json
├── bert_model.ckpt.data-00000-of-00001
├── bert_model.ckpt.index
├── bert_model.ckpt.meta
├── bert_model.py
├── data/
│   ├── cnndm/
│   │   ├── test.bin
│   │   ├── train.bin
│   │   └── valid.bin
│   └── cnndm.vocab
├── decode_full_model.py
├── eval.py
├── LICENSE
├── models/
│   ├── __init__.py
│   ├── model_builder.py
│   ├── model_builder_abstract.py
│   ├── model_builder_abstract_pretrain.py
│   └── model_builder_pretrain.py
├── README.md
├── requirements.txt
├── run_abstractive_pretrain.py
├── run_abstractive.py
├── run_extractive.py
├── src/
│   ├── __init__.py
│   ├── data_loader.py
│   ├── data_loader_abstract.py
│   ├── data_loader_abstract_pretrain.py
│   ├── data_loader_ext.py
│   ├── data_loader_ext_pretrain.py
│   ├── data_util.py
│   ├── models/
│   │   ├── __init__.py
│   │   ├── decoder.py
│   │   ├── encoder.py
│   │   ├── extractive.py
│   │   ├── pointer_generator.py
│   │   └── transformer.py
│   ├── optimizers.py
│   ├── predict.py
│   ├── preprocess.py
│   ├── train.py
│   └── utils.py
└── train_full_model.py

目录结构介绍

• bert_config.json, bert_model.ckpt.*: 包含预训练的BERT模型的配置和权重文件。
• data/: 存放数据集文件，包括训练、验证和测试数据。
• models/: 包含模型的构建和实现文件。
• src/: 包含数据加载、模型训练、预测等核心功能的实现文件。
• run_*.py: 不同任务的运行脚本，如摘要生成、提取式摘要等。
• train_full_model.py, decode_full_model.py: 用于训练和解码完整模型的脚本。
• eval.py: 用于模型评估的脚本。

2. 项目的启动文件介绍

run_abstractive.py

该文件用于启动抽象式摘要任务。它包含了模型的训练和评估逻辑。

run_extractive.py

该文件用于启动提取式摘要任务。它包含了模型的训练和评估逻辑。

train_full_model.py

该文件用于训练完整的摘要生成模型。它包含了模型的训练逻辑。

decode_full_model.py

该文件用于解码生成的摘要。它包含了模型的解码逻辑。

3. 项目的配置文件介绍

bert_config.json

该文件包含了预训练BERT模型的配置信息，如隐藏层大小、注意力头数等。

requirements.txt

该文件列出了项目运行所需的Python依赖包及其版本。

data/cnndm.vocab

该文件包含了数据集的词汇表，用于文本的编码和解码。

models/model_builder.py

该文件包含了模型的构建逻辑，定义了模型的结构和参数。

src/data_loader.py

该文件包含了数据加载的配置，定义了如何从数据集中加载和预处理数据。