开源项目 `lm` 使用教程

1. 项目的目录结构及介绍

lm/
├── LICENSE
├── README.md
├── __init__.py
├── common.py
├── data_utils.py
├── data_utils_test.py
├── hparams.py
├── hparams_test.py
├── language_model.py
├── language_model_test.py
├── model_utils.py
├── run_utils.py
├── single_lm_run.py
├── single_lm_train.py
└── testdata/
    └── 1b_word_vocab.txt

目录结构介绍

• LICENSE: 项目的开源许可证文件。
• README.md: 项目的介绍文档，包含项目的基本信息和使用说明。
• __init__.py: Python 包的初始化文件。
• common.py: 包含项目中常用的通用函数和类。
• data_utils.py: 数据处理相关的工具函数。
• data_utils_test.py: 数据处理工具函数的测试文件。
• hparams.py: 超参数配置文件。
• hparams_test.py: 超参数配置文件的测试文件。
• language_model.py: 语言模型的实现文件。
• language_model_test.py: 语言模型实现的测试文件。
• model_utils.py: 模型相关的工具函数。
• run_utils.py: 运行相关的工具函数。
• single_lm_run.py: 单次语言模型运行的脚本。
• single_lm_train.py: 单次语言模型训练的脚本。
• testdata/: 测试数据目录，包含一个词汇表文件 1b_word_vocab.txt。

2. 项目的启动文件介绍

single_lm_run.py

single_lm_run.py 是项目的启动文件，用于启动语言模型的训练和评估。该脚本会自动启动一个 tmux 会话，并在其中运行多个窗口，包括训练、评估、TensorBoard 和系统监控。

使用方法

python single_lm_run.py --datadir /path/to/data --logdir /path/to/log

• --datadir: 数据目录的路径。
• --logdir: 日志目录的路径。

启动后，可以通过 tmux a 连接到启动的 tmux 会话，查看各个窗口的运行情况。

3. 项目的配置文件介绍

hparams.py

hparams.py 文件包含了语言模型的超参数配置。这些超参数可以通过命令行参数 --hpconfig 进行覆盖。

主要超参数

• batch_size: 批处理大小。
• num_steps: LSTM 展开的步数。
• num_shards: 嵌入和 softmax 矩阵的分片数。
• num_layers: LSTM 层数。
• learning_rate: 学习率。
• max_grad_norm: 最大可接受的梯度范数。
• keep_prob: 用于 dropout 的概率。
• emb_size: 嵌入的大小。
• state_size: LSTM 状态大小。
• projected_size: LSTM 投影大小。
• num_sampled: 训练期间用于 IS 目标的词目标样本数。

示例

python single_lm_run.py --datadir /path/to/data --logdir /path/to/log --hpconfig num_layers=2 state_size=4096

上述命令将启动一个具有 2 层 LSTM 和 4096 状态大小的模型。