Seq2Seq-with-Attention 开源项目安装与使用教程

本教程将引导您如何搭建并使用 Harvard NLP 团队的 seq2seq-attn 开源项目。该项目基于 LSTM 构建了一个标准的序列到序列（seq2seq）模型，并集成了注意力机制，适用于诸如机器翻译等任务。

1. 项目目录结构及介绍

下面是 seq2seq-attn 项目的基本目录结构和重要文件简介：

.
├── data                      # 示例数据存放目录
├── README.md                 # 项目说明文件
├── LICENSE                   # 许可证文件
├── preprocess.py             # 数据预处理脚本
├── train.lua                 # 模型训练脚本
├── evaluate.lua              # 模型评估脚本
├── preprocess.shards.py      # 分片预处理脚本（如果数据大，会被使用）
├── preprocess.py             # 主数据预处理脚本
├── convert_to_cpu.lua        # 将模型转移到CPU的脚本
├── evaluate.lua              # 进行预测的脚本
├── prune.lua                 # 模型修剪脚本
└── train.lua                 # 训练主程序

• data: 包含示例数据。
• README.md: 项目概述和主要特性的介绍。
• LICENSE: 使用的MIT许可证说明。
• preprocess.py: 数据预处理工具，用于准备训练数据。
• train.lua: 训练模型的主要脚本。
• evaluate.lua: 评估模型性能的脚本。
• preprocess.shards.py, convert_to_cpu.lua, prune.lua: 辅助脚本，分别用于数据分片处理、模型转移到CPU以及模型剪枝。

2. 项目的启动文件介绍

训练模型

• train.lua
  • 用途: 启动模型训练。通过此脚本，你可以指定数据文件路径、模型参数、是否使用GPU等。
  • 示例命令:

  th train.lua -data_file data/demo-train.hdf5 -val_data_file data/demo-val.hdf5 -savefile demo-model
  

预处理数据

• preprocess.py
  • 用途: 将原始文本数据转换成模型所需的HDF5格式，包括构建词汇表。
  • 示例命令:

  python preprocess.py --srcfile data/src-train.txt --targetfile data/targ-train.txt --outputfile data/demo
  

评估与预测

• evaluate.lua
  • 用途: 对训练好的模型进行评估或预测新数据。
  • 示例命令:

  th evaluate.lua -model demo-model_final.t7 -src_file data/src-val.txt -output_file pred.txt
  

3. 项目的配置文件介绍

虽然 seq2seq-attn 直接在脚本内部定义了参数配置，没有独立的配置文件，但是你可以在运行 train.lua, evaluate.lua, 和 preprocess.py 时，通过命令行参数来配置关键设置。例如：

• 在 train.lua 中，可以通过 -num_layers, -rnn_size, 和 -attn 等参数来调整模型的层数、隐藏层大小以及是否启用注意力机制。
• 使用 preprocess.py 时，可以设定 -srcvocabsize, -batchsize, -seqlength 来控制预处理数据的细节。
• 在执行预测或评估时，通过 -src_dict 和 -targ_dict 指定词典路径，确保正确的词汇映射。

请根据实际需求修改上述命令中的参数以适应你的特定应用情境。记住，在使用项目之前，确保已经满足所有依赖项，包括Python相关库以及Lua环境，特别是Torch及其相关包（如cutorch、nngraph）。