Ordered-Neurons 项目使用教程

1. 项目的目录结构及介绍

Ordered-Neurons/
├── data/
│   └── penn/
├── data_ptb.py
├── embed_regularize.py
├── locked_dropout.py
├── main.py
├── model.py
├── ON_LSTM.py
├── parse_comparison.py
├── README.md
├── requirements.txt
├── splitcross.py
├── test_phrase_grammar.py
├── utils.py
└── weight_drop.py

目录结构介绍

• data/: 存放数据集的目录，通常包含训练和测试数据。
• data_ptb.py: 处理Penn Treebank数据集的脚本。
• embed_regularize.py: 嵌入正则化的实现。
• locked_dropout.py: 锁定dropout的实现。
• main.py: 项目的主启动文件，用于训练和测试模型。
• model.py: 定义模型的核心代码。
• ON_LSTM.py: 实现Ordered Neurons LSTM模型的核心代码。
• parse_comparison.py: 用于解析和比较的脚本。
• README.md: 项目的介绍和使用说明。
• requirements.txt: 项目依赖的Python库列表。
• splitcross.py: 用于分割和交叉的脚本。
• test_phrase_grammar.py: 用于测试短语语法的脚本。
• utils.py: 项目中使用的各种工具函数。
• weight_drop.py: 权重dropout的实现。

2. 项目的启动文件介绍

main.py

main.py 是项目的启动文件，主要用于训练和测试语言模型。以下是一些关键参数和用法：

python main.py --batch_size 20 --dropout 0.45 --dropouth 0.3 --dropouti 0.5 --wdrop 0.45 --chunk_size 10 --seed 141 --epoch 1000 --data /path/to/your/data

• --batch_size: 批处理大小。
• --dropout: 总体dropout率。
• --dropouth: 隐藏层dropout率。
• --dropouti: 输入dropout率。
• --wdrop: 权重dropout率。
• --chunk_size: 块大小。
• --seed: 随机种子。
• --epoch: 训练轮数。
• --data: 数据集路径。

3. 项目的配置文件介绍

requirements.txt

requirements.txt 文件列出了项目运行所需的Python库及其版本。可以使用以下命令安装所有依赖：

pip install -r requirements.txt

关键依赖

• Python 3.6: 项目使用的Python版本。
• NLTK: 自然语言处理工具包。
• PyTorch 0.4: 深度学习框架。

其他配置

项目中没有显式的配置文件，但可以通过命令行参数在 main.py 中进行配置。