首页
/ EditSQL 项目使用教程

EditSQL 项目使用教程

2024-09-28 07:05:26作者:范靓好Udolf

1. 项目目录结构及介绍

EditSQL 项目的目录结构如下:

editsql/
├── data/
│   └── database/
├── eval_scripts/
├── logs/
├── model/
│   └── bert/
│       └── data/
│           └── annotated_wikisql_and_PyTorch_bert_param/
├── README.md
├── LICENSE
├── logger.py
├── model_util.py
├── parse_args.py
├── postprocess_eval.py
├── preprocess.py
├── requirements.txt
├── run.py
├── run_atis.sh
├── run_cosql_cdseq2seq.sh
├── run_cosql_editsql.sh
├── run_sparc_cdseq2seq.sh
├── run_sparc_cdseq2seq_segment_copy.sh
├── run_sparc_editsql.sh
├── run_spider_editsql.sh
├── test_cosql_editsql.sh
├── test_sparc_editsql.sh
└── test_spider_editsql.sh

目录介绍

  • data/: 存放数据库文件的目录。
  • eval_scripts/: 存放评估脚本的目录。
  • logs/: 存放实验日志的目录。
  • model/: 存放模型相关文件的目录,包括预训练的 BERT 模型。
  • README.md: 项目介绍文件。
  • LICENSE: 项目许可证文件。
  • logger.py: 日志记录模块。
  • model_util.py: 模型工具模块。
  • parse_args.py: 参数解析模块。
  • postprocess_eval.py: 评估后处理模块。
  • preprocess.py: 数据预处理模块。
  • requirements.txt: 项目依赖文件。
  • run.py: 项目启动文件。
  • run_atis.sh: ATIS 实验启动脚本。
  • run_cosql_cdseq2seq.sh: CoSQL CD-Seq2Seq 实验启动脚本。
  • run_cosql_editsql.sh: CoSQL EditSQL 实验启动脚本。
  • run_sparc_cdseq2seq.sh: SParC CD-Seq2Seq 实验启动脚本。
  • run_sparc_cdseq2seq_segment_copy.sh: SParC CD-Seq2Seq 带段复制实验启动脚本。
  • run_sparc_editsql.sh: SParC EditSQL 实验启动脚本。
  • run_spider_editsql.sh: Spider EditSQL 实验启动脚本。
  • test_cosql_editsql.sh: CoSQL EditSQL 测试脚本。
  • test_sparc_editsql.sh: SParC EditSQL 测试脚本。
  • test_spider_editsql.sh: Spider EditSQL 测试脚本。

2. 项目启动文件介绍

项目的启动文件是 run.py。该文件负责启动整个项目,并根据配置文件和命令行参数执行相应的实验或测试任务。

启动命令示例

python run.py --config_file config.json --experiment_name spider_editsql

参数说明

  • --config_file: 指定配置文件路径。
  • --experiment_name: 指定实验名称,用于区分不同的实验任务。

3. 项目配置文件介绍

项目的配置文件通常是一个 JSON 文件,用于定义实验的各种参数,如数据路径、模型路径、训练参数等。

配置文件示例

{
    "data_path": "data/database",
    "model_path": "model/bert/data/annotated_wikisql_and_PyTorch_bert_param/pytorch_model_uncased_L-12_H-768_A-12.bin",
    "batch_size": 32,
    "learning_rate": 0.001,
    "num_epochs": 10
}

配置项说明

  • data_path: 数据文件路径。
  • model_path: 预训练模型路径。
  • batch_size: 批处理大小。
  • learning_rate: 学习率。
  • num_epochs: 训练轮数。

通过配置文件,用户可以灵活地调整实验参数,以适应不同的实验需求。

登录后查看全文