Minimal Text Diffusion 项目教程

1. 项目目录结构及介绍

minimal-text-diffusion/
├── data/
│   └── simple/
│       ├── simple-train.txt
│       └── simple-test.txt
├── docs/
│   ├── old_experiments.md
│   └── controllable.md
├── scripts/
│   ├── train.sh
│   └── text_sample.sh
├── src/
│   ├── utils/
│   │   └── custom_tokenizer.py
│   └── __init__.py
├── .gitignore
├── CITATION.cff
├── CNAME
├── LICENSE.md
├── README.md
├── __init__.py
├── minimal-text-diffusion.gif
└── requirements.txt

目录结构介绍

• data/: 包含用于训练和测试的简单文本数据集。

  • simple-train.txt: 训练数据集。
  • simple-test.txt: 测试数据集。

• docs/: 包含项目的文档和实验记录。

  • old_experiments.md: 旧实验的记录。
  • controllable.md: 可控生成的文档。

• scripts/: 包含项目的启动脚本。

  • train.sh: 训练模型的脚本。
  • text_sample.sh: 生成文本样本的脚本。

• src/: 包含项目的源代码。

  • utils/: 工具函数和类。
    • custom_tokenizer.py: 自定义分词器。
  • __init__.py: 初始化文件。

• .gitignore: Git忽略文件。

• CITATION.cff: 引用文件。

• CNAME: 自定义域名文件。

• LICENSE.md: 项目许可证。

• README.md: 项目介绍和使用说明。

• init.py: 初始化文件。

• minimal-text-diffusion.gif: 项目演示GIF。

• requirements.txt: 项目依赖文件。

2. 项目启动文件介绍

scripts/train.sh

该脚本是用于训练扩散模型的启动脚本。默认情况下，它会训练一个模型在简单语料库上。可以通过 --train_data 参数指定其他文本文件进行训练。

bash scripts/train.sh

scripts/text_sample.sh

该脚本是用于生成文本样本的启动脚本。需要指定模型检查点的路径、扩散步数和生成样本的数量。

bash scripts/text_sample.sh ckpts/simple/ema_0.9999_025000.pt 2000 10

3. 项目配置文件介绍

requirements.txt

该文件列出了项目运行所需的Python依赖包。可以通过以下命令安装这些依赖：

pip install -r requirements.txt

src/utils/custom_tokenizer.py

该文件包含自定义的分词器实现。可以通过以下命令训练分词器：

python src/utils/custom_tokenizer.py train-word-level data/simple/simple.txt

scripts/train.sh

该脚本中的默认参数设置适用于简单语料库。如果使用其他语料库，可能需要调整 --seq_len 参数以适应更长的序列长度。

bash scripts/train.sh --train_data path/to/your/textfile.txt --seq_len 512

通过以上介绍，您可以更好地理解和使用 minimal-text-diffusion 项目。