Probabilistic FastText for Multi-Sense Word Embeddings 项目启动与配置文档

1. 项目目录结构及介绍

该项目的目录结构如下所示：

multisense-prob-fasttext/
├── data/
│   ├── get_text8.sh
│   └── get_text9.sh
├── eval/
│   ├── eval_model_wordsim.py
│   └── eval_text9_model_nn.py
├── exps/
│   └── train_text8_multi.sh
├── log/
├── src/
├── LICENSE
├── Makefile
├── PATENTS
├── README.md
├── embeval.py
├── hash.py
└── multift.py

• data/ 目录包含了下载文本数据的脚本 get_text8.sh 和 get_text9.sh。
• eval/ 目录包含了评估模型的 Python 脚本 eval_model_wordsim.py 和 eval_text9_model_nn.py。
• exps/ 目录包含了训练模型的脚本 train_text8_multi.sh。
• log/ 目录用于存放日志文件。
• src/ 目录包含了项目的源代码。
• LICENSE 文件包含了项目的许可证信息。
• Makefile 文件用于编译项目的 C++ 代码。
• PATENTS 文件包含了项目的专利信息。
• README.md 文件包含了项目的说明信息。
• embeval.py、hash.py 和 multift.py 是 Python 脚本，用于评估模型和处理文本数据。

2. 项目启动文件介绍

项目的启动文件是 train_text8_multi.sh，位于 exps/ 目录中。该脚本用于训练多义词 FastText 嵌入模型。使用方法如下：

bash exps/train_text8_multi.sh

3. 项目配置文件介绍

项目没有专门的配置文件，但可以通过修改 train_text8_multi.sh 脚本中的参数来调整训练过程。例如，可以修改以下参数：

• modelname: 模型名称
• lr: 学习率
• dim: 嵌入维度
• ws: 上下文窗口大小
• epoch: 训练轮数

例如，修改学习率为 1e-4：

lr=1e-4

完成以上修改后，重新运行 train_text8_multi.sh 脚本即可。