pycodesuggest 项目使用教程

1. 项目的目录结构及介绍

pycodesuggest/
├── data/
│   ├── cloned_repos.dat
│   └── train_files.txt
│   └── valid_files.txt
│   └── test_files.txt
├── github-scraper/
│   ├── scraper.py
│   └── normalisation.py
│   └── processFiles.py
├── lm/
│   ├── ngram/
│   └── ...
├── .gitignore
├── .gitmodules
├── LICENSE.txt
└── README.md

目录结构介绍

• data/: 存放项目所需的数据文件，包括克隆的仓库数据 (cloned_repos.dat) 和训练、验证、测试文件列表 (train_files.txt, valid_files.txt, test_files.txt)。
• github-scraper/: 包含用于从 GitHub 抓取数据和处理数据的脚本，如 scraper.py 用于抓取仓库，normalisation.py 用于数据标准化，processFiles.py 用于处理文件。
• lm/: 包含与语言模型相关的代码和数据。
• .gitignore: 指定 Git 忽略的文件和目录。
• .gitmodules: 指定 Git 子模块的配置。
• LICENSE.txt: 项目的许可证文件。
• README.md: 项目的介绍和使用说明。

2. 项目的启动文件介绍

项目的启动文件主要是 github-scraper/scraper.py，该文件用于从 GitHub 抓取代码仓库并生成训练数据。

启动文件介绍

• github-scraper/scraper.py: 该脚本用于从 GitHub 抓取代码仓库，并生成训练数据。可以通过以下命令运行：

  python3 github-scraper/scraper.py --mode=recreate --outdir=<PATH-TO-OUTPUT-DIR> --dbfile=/FULL/PATH/TO/pycodesuggest/data/cloned_repos.dat --githubuser=<GITHUB USERNAME>
  

  参数说明：

  • --mode: 指定运行模式，recreate 表示重新创建数据，new 表示基于新搜索生成数据。
  • --outdir: 指定输出目录。
  • --dbfile: 指定数据库文件路径。
  • --githubuser: 指定 GitHub 用户名。

3. 项目的配置文件介绍

项目的配置文件主要是 github-scraper/scraper.py 中的参数配置，以及 data/cloned_repos.dat 数据库文件。

配置文件介绍

• github-scraper/scraper.py: 该脚本中的参数配置用于控制数据抓取和处理的行为，如 --mode, --outdir, --dbfile, --githubuser 等。
• data/cloned_repos.dat: 该数据库文件用于存储抓取的代码仓库信息，后续的数据处理和模型训练都依赖于该文件。

通过以上配置，用户可以根据自己的需求定制数据抓取和处理流程，生成适合自己项目的训练数据。