Word2Vec PyTorch 项目教程

1. 项目目录结构及介绍

word2vec_pytorch/
├── data/
│   ├── processed/
│   └── raw/
├── models/
│   ├── __init__.py
│   └── word2vec.py
├── notebooks/
│   └── exploration.ipynb
├── scripts/
│   ├── preprocess.py
│   └── train.py
├── tests/
│   ├── __init__.py
│   └── test_word2vec.py
├── config.yaml
├── main.py
├── README.md
└── requirements.txt

目录结构介绍

• data/: 存放数据文件的目录，包括原始数据 (raw/) 和处理后的数据 (processed/)。
• models/: 存放模型定义的目录，word2vec.py 文件中定义了 Word2Vec 模型。
• notebooks/: 存放 Jupyter Notebook 文件，用于数据探索和模型分析。
• scripts/: 存放脚本文件，preprocess.py 用于数据预处理，train.py 用于模型训练。
• tests/: 存放测试文件，用于测试模型的正确性。
• config.yaml: 项目的配置文件，包含训练参数、数据路径等信息。
• main.py: 项目的启动文件，用于启动训练或测试。
• README.md: 项目的说明文件，包含项目的基本信息和使用说明。
• requirements.txt: 项目依赖的 Python 包列表。

2. 项目的启动文件介绍

main.py

main.py 是项目的启动文件，负责加载配置、初始化模型、加载数据并启动训练或测试。以下是 main.py 的主要功能模块：

import argparse
import yaml
from models.word2vec import Word2Vec
from scripts.train import train
from scripts.preprocess import preprocess

def main():
    parser = argparse.ArgumentParser(description="Word2Vec PyTorch Implementation")
    parser.add_argument('--config', type=str, default='config.yaml', help='Path to the config file')
    parser.add_argument('--mode', type=str, default='train', choices=['train', 'test'], help='Mode to run the script')
    args = parser.parse_args()

    with open(args.config, 'r') as f:
        config = yaml.safe_load(f)

    if args.mode == 'train':
        preprocess(config)
        model = Word2Vec(config)
        train(model, config)
    elif args.mode == 'test':
        # 测试模式的代码
        pass

if __name__ == "__main__":
    main()

功能介绍

• 参数解析: 使用 argparse 解析命令行参数，支持配置文件路径和运行模式（训练或测试）。
• 配置加载: 从 config.yaml 文件中加载配置参数。
• 数据预处理: 调用 preprocess.py 中的 preprocess 函数进行数据预处理。
• 模型初始化: 初始化 Word2Vec 模型。
• 训练启动: 调用 train.py 中的 train 函数启动模型训练。

3. 项目的配置文件介绍

config.yaml

config.yaml 是项目的配置文件，包含训练参数、数据路径等信息。以下是一个示例配置文件的内容：

data:
  raw_data_path: "data/raw/corpus.txt"
  processed_data_path: "data/processed/processed_corpus.txt"

model:
  embedding_dim: 100
  context_size: 2

training:
  batch_size: 64
  epochs: 10
  learning_rate: 0.001
  device: "cuda"

配置项介绍

• data:

  • raw_data_path: 原始数据文件路径。
  • processed_data_path: 处理后的数据文件路径。

• model:

  • embedding_dim: 词嵌入的维度。
  • context_size: 上下文窗口大小。

• training:

  • batch_size: 批处理大小。
  • epochs: 训练轮数。
  • learning_rate: 学习率。
  • device: 训练设备（cuda 或 cpu）。

通过修改 config.yaml 文件中的配置项，可以调整模型的训练参数和数据路径，以适应不同的训练需求。