Ditto 项目教程

1. 项目的目录结构及介绍

Ditto 项目的目录结构如下：

megagonlabs/ditto/
├── data/
├── ditto_light/
├── input/
├── output/
├── results_ditto/
├── .gitmodules
├── LICENSE
├── README.md
├── configs.json
├── ditto.jpg
├── matcher.py
├── requirements.txt
├── run_all_er_magellan.py
├── run_all_vary_size.py
├── run_all_wdc.py
└── train_ditto.py

目录结构介绍

• data/: 存放数据集文件，包括用于训练和测试的数据。
• ditto_light/: 轻量级版本的 Ditto 实现。
• input/: 存放输入数据文件。
• output/: 存放输出结果文件。
• results_ditto/: 存放 Ditto 模型的训练结果。
• .gitmodules: Git 子模块配置文件。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文件。
• configs.json: 项目配置文件。
• ditto.jpg: 项目图标或相关图片。
• matcher.py: 匹配模型执行文件。
• requirements.txt: 项目依赖包列表。
• run_all_er_magellan.py: 运行所有 ER_Magellan 数据集的脚本。
• run_all_vary_size.py: 运行不同数据集大小的脚本。
• run_all_wdc.py: 运行 WDC 数据集的脚本。
• train_ditto.py: 训练 Ditto 模型的脚本。

2. 项目的启动文件介绍

Ditto 项目的主要启动文件是 train_ditto.py 和 matcher.py。

train_ditto.py

该文件用于训练 Ditto 模型。通过调用该脚本，可以指定任务、批量大小、最大序列长度、学习率等参数来训练模型。

CUDA_VISIBLE_DEVICES=0 python train_ditto.py \
  --task Structured/Beer \
  --batch_size 64 \
  --max_len 64 \
  --lr 3e-5 \
  --n_epochs 40 \
  --lm distilbert \
  --fp16 \
  --da del \
  --dk product \
  --summarize

matcher.py

该文件用于执行匹配模型的推理。通过调用该脚本，可以指定任务、输入文件路径、输出文件路径等参数来运行模型。

CUDA_VISIBLE_DEVICES=0 python matcher.py \
  --task wdc_all_small \
  --input_path input/input_small.jsonl \
  --output_path output/output_small.jsonl \
  --lm distilbert \
  --max_len 64 \
  --use_gpu \
  --fp16 \
  --checkpoint_path checkpoints/

3. 项目的配置文件介绍

Ditto 项目的主要配置文件是 configs.json。该文件包含了不同任务的配置信息，如数据集路径、模型参数等。

configs.json

该文件是一个 JSON 格式的配置文件，定义了不同任务的配置参数。例如：

{
  "Structured/Beer": {
    "dataset_path": "data/Structured/Beer",
    "batch_size": 64,
    "max_len": 64,
    "lr": 3e-5,
    "n_epochs": 40,
    "lm": "distilbert",
    "fp16": true,
    "da": "del",
    "dk": "product",
    "summarize": true
  },
  "WDC/Cameras": {
    "dataset_path": "data/WDC/Cameras",
    "batch_size": 32,
    "max_len": 128,
    "lr": 2e-5,
    "n_epochs": 30,
    "lm": "bert",
    "fp16": false,
    "da": "swap",
    "dk": "general",
    "summarize": false
  }
}

通过修改 configs.json 文件，可以自定义不同任务的训练和推理参数。