PLMS-Graph2Text 使用教程

1. 项目介绍

PLMS-Graph2Text 是一个开源项目，旨在研究预训练语言模型在图到文生成任务中的应用。该项目的核心是探索不同任务自适应预训练策略对基于 BART 和 T5 的预训练语言模型在图到文生成任务中的影响。项目使用了 AMR、WebNLG 和 AGENDA 三个图领域的数据集，并取得了新的最佳成绩。

2. 项目快速启动

环境和依赖

• Python 3.6
• Transformers 3.3.1
• PyTorch Lightning 0.9.0
• Torch 1.4.0
• Parsimonious 0.8.1

数据预处理

首先，将数据集转换为模型所需的格式。对于不同的数据集，执行以下脚本：

• 对于 AMR17，运行：./preprocess_AMR.sh <dataset_folder>
• 对于 WebNLG，运行：./preprocess_WEBNLG.sh <dataset_folder>
• 对于 AGENDA，运行：./preprocess_AGENDA.sh <dataset_folder>

模型微调

使用以下命令对模型进行微调：

• 对于 AMR 数据集，执行：./finetune_AMR.sh <model> <gpu_id>
• 对于 WebNLG 数据集，执行：./finetune_WEBNLG.sh <model> <gpu_id>
• 对于 AGENDA 数据集，执行：./finetune_AGENDA.sh <model> <gpu_id>

其中 <model> 的选项包括 t5-small、t5-base、t5-large、facebook/bart-base 或 facebook/bart-large。

示例：

./finetune_AGENDA.sh t5-small 0

模型解码

对于解码，运行以下命令：

./decode_AMR.sh <model> <checkpoint> <gpu_id>
./decode_WEBNLG.sh <model> <checkpoint> <gpu_id>
./decode_AGENDA.sh <model> <checkpoint> <gpu_id>

示例：

./decode_WEBNLG.sh t5-base webnlg-t5-base.ckpt 0

3. 应用案例和最佳实践

• 案例一：使用 PLMS-Graph2Text 生成 AMR 数据集的文本描述。
• 案例二：对 WebNLG 数据集进行微调，并生成新的文本。

最佳实践建议：

• 在微调模型前，确保数据集格式正确无误。
• 根据具体任务选择合适的模型和微调策略。

4. 典型生态项目

PLMS-Graph2Text 可以与以下开源项目结合使用，以扩展其功能和应用范围：

• HuggingFace：提供了一系列用于自然语言处理的预训练模型和工具。
• PyTorch Lightning：是一个轻量级的 PyTorch 框架，用于快速构建和训练模型。

请根据实际需求选择合适的项目进行集成。