RNNLG开源项目使用说明

1. 项目目录结构及介绍

RNNLG（Recurrent Neural Network Language Generation）是一个用于自然语言生成的开源工具包，专为口语对话系统应用领域设计。以下是项目的目录结构及其简要说明：

• config: 存放项目的配置文件，如训练、模型、数据等配置。
• data: 包含项目所使用的原始数据集和生成的数据集。
• generator: 实现了不同类型的生成器模型，如kNN、Ngram、LSTM等。
• loader: 负责加载和预处理数据。
• model: 定义了各种神经网络模型的实现。
• nn: 提供了神经网络构建所需的基础模块。
• resource: 存储了外部资源和预训练的模型。
• utils: 包含了项目所需的工具函数。
• vec: 存储了预训练的词向量。
• .gitignore: 指定了git忽略的文件和目录。
• LICENSE: 项目的许可证文件。
• README.md: 项目的说明文档。
• benchmark.png: 数据集基准测试结果的图像。
• main.py: 项目的启动文件。
• 其他文件和文件夹：包括项目的文档、脚本等。

2. 项目的启动文件介绍

main.py 是RNNLG项目的启动文件，它负责解析命令行参数，并根据配置文件执行相应的操作，如训练模型、生成文本等。以下是一些基本的命令行用法：

• 启动最大似然训练：python main.py -config config/sclstm.cfg -mode train
• 进行文本生成：python main.py -config config/sclstm.cfg -mode test
• 运行ngram/knn基线模型：python main.py -config config/ngram.cfg -mode ngram 或 python main.py -config config/knn.cfg -mode knn
• 模型训练/适应/判别式训练/微调：python main.py -config config/sclstm-DT.cfg -mode adapt

3. 项目的配置文件介绍

配置文件位于config目录下，以.cfg为扩展名。这些文件定义了项目的各种参数，如学习率、批次大小、模型类型、隐藏层大小等。以下是配置文件的基本结构：

[learn]
lr = 0.01
lr_decay = 0.95
lr_divide = 5
beta = 0.001
random_seed = 1
min_impr = 0.001
debug = False
llogp = False

[train_mode]
mode = all
obj = ml
gamma = 0.1
batch = 32

[generator]
type = hlstm
hidden = 128

[data]
domain = restaurant
train/valid/test = train
vocab = data/vocab.txt
percentage = 1.0
wvec = None
model = models/sclstm

[gen]
topk = 1
overgen = 1
beamwidth = 5
detectpairs = data/detectpairs.json
verbose = False
decode = beam

每个配置部分都有相应的参数，用户可以根据自己的需求修改这些参数，以调整模型的训练和生成过程。