Self-dialogue Corpus 项目使用教程

1. 项目目录结构及介绍

self_dialogue_corpus/
├── corpus/
│   ├── topic1/
│   ├── topic2/
│   └── ...
├── LICENSE
├── README.md
├── blocked_workers.txt
├── get_data.py
└── ...

• corpus/: 该目录包含了项目的核心数据，即24,165个对话，分布在23个主题下。每个主题对应一个子目录，子目录中包含多个CSV文件，每个文件代表一个对话任务。
• LICENSE: 项目的许可证文件，采用BSD-3-Clause许可证。
• README.md: 项目的介绍文件，包含项目的基本信息、数据统计、使用方法等。
• blocked_workers.txt: 列出了未遵守任务要求的工人，这些工人的数据默认被排除。
• get_data.py: 数据预处理脚本，用于将CSV文件格式化为文本文件，并提供多种选项进行数据处理。

2. 项目启动文件介绍

项目的启动文件是 get_data.py，该脚本用于预处理数据，将原始的CSV文件转换为文本文件。以下是启动文件的基本使用方法：

python get_data.py

默认情况下，脚本会从 corpus/ 目录读取数据，并将处理后的文件保存到 dialogues/ 目录。脚本还支持多种可选参数，例如：

• --inDir: 指定输入目录。
• --outDir: 指定输出目录。
• --output-naming: 指定输出文件的命名方式（整数或 assignment_id）。
• --remove-punctuation: 移除输出中的标点符号。
• --set-case: 设置输出文本的大小写（原始、大写或小写）。
• --exclude-topic: 排除特定主题的数据。
• --include-only: 仅包含特定主题的数据。

3. 项目配置文件介绍

项目中没有明确的配置文件，但可以通过 get_data.py 脚本中的参数进行配置。例如，可以通过命令行参数指定输入和输出目录、排除特定主题的数据等。

例如，要排除音乐主题的数据，可以使用以下命令：

python get_data.py --exclude-topic music

通过这种方式，用户可以根据自己的需求灵活配置数据处理过程。