Tagger 项目使用教程

1. 项目的目录结构及介绍

Tagger/
├── tagger/
│   ├── bin/
│   │   ├── predictor.py
│   │   └── trainer.py
│   ├── scripts/
│   │   ├── build_vocab.py
│   │   └── convert_to_conll.py
│   └── ...
├── LICENSE
├── README.md
└── ...

• tagger/: 项目的主要代码目录。
  • bin/: 包含主要的执行文件，如 predictor.py 和 trainer.py。
  • scripts/: 包含辅助脚本，如 build_vocab.py 和 convert_to_conll.py。
• LICENSE: 项目的许可证文件。
• README.md: 项目的介绍和使用说明。

2. 项目的启动文件介绍

predictor.py

predictor.py 是用于生成输出的启动文件。它主要用于从训练好的模型中生成预测结果。

使用方法:

python tagger/bin/predictor.py \
  --input /PATH/TO/INPUT_FILE \
  --checkpoint /PATH/TO/CHECKPOINT \
  --model deepatt \
  --vocab /PATH/TO/VOCAB_FILE \
  --parameters=device=0,embedding=/PATH/TO/EMBEDDING_FILE \
  --output /PATH/TO/OUTPUT_FILE

trainer.py

trainer.py 是用于训练模型的启动文件。它主要用于训练深度语义角色标注模型。

使用方法:

python tagger/bin/trainer.py \
  --model deepatt \
  --input /PATH/TO/TRAIN_FILE \
  --output /PATH/TO/OUTPUT_DIR \
  --vocabulary /PATH/TO/WORD_DICT /PATH/TO/LABEL_DICT \
  --parameters="save_summary=false,feature_size=100,hidden_size=200,filter_size=800,residual_dropout=0.2,num_hidden_layers=10,attention_dropout=0.1,relu_dropout=0.1,batch_size=4096,optimizer=adadelta,initializer=orthogonal,initializer_gain=1.0,train_steps=600000,learning_rate_schedule=piecewise_constant_decay,learning_rate_values=[1.0,0.5,0.25],learning_rate_boundaries=[400000,50000],device_list=[0],clip_grad_norm=1.0,embedding=/PATH/TO/EMBEDDING_FILE,script=run.sh"

3. 项目的配置文件介绍

build_vocab.py

build_vocab.py 是一个辅助脚本，用于生成词汇表。

使用方法:

python tagger/scripts/build_vocab.py \
  --limit LIMIT \
  --lower TRAIN_FILE \
  OUTPUT_DIR

• LIMIT: 指定词汇表的大小。
• TRAIN_FILE: 训练数据的文件路径。
• OUTPUT_DIR: 输出词汇表的目录路径。

convert_to_conll.py

convert_to_conll.py 是一个辅助脚本，用于将预测结果转换为 CoNLL 格式。

使用方法:

python tagger/scripts/convert_to_conll.py \
  INPUT_FILE \
  GOLD_FILE \
  OUTPUT_FILE

• INPUT_FILE: 预测结果的文件路径。
• GOLD_FILE: 参考数据的文件路径。
• OUTPUT_FILE: 输出文件的路径。