【亲测免费】 Simple Transformers 安装与使用指南

目录结构及介绍

当您克隆或下载simpletransformers库时, 您将看到以下主要目录和文件:

• examples/: 此目录包含了使用 Simple Transformers 的示例脚本. 每个例子都对应一个特定的 NLP 任务.

• simpletransformers/: 这是核心库所在的位置. 包括所有用于模型训练和评估的功能性代码以及预先定义的模型类.

• tests/: 包含了单元测试以验证库中函数和类的行为是否正确.

• all-contributorsrc: 确定如何贡献者被列出在贡献者列表中的规则.

• gitignore: 过滤掉不需要进行版本控制的文件和目录.

• CHANGELOG.md: 记录了项目的重大更新和变化.

• LICENSE: 表明该项目采用的是Apache软件许可.

• Makefile: 提供了一系列预定义的命令来帮助自动化编译和安装过程.

• README.md: 主要的读我文件, 含有项目的简介、安装说明等关键信息.

• requirements-dev.txt: 开发阶段所需的额外依赖项清单.

• setup.cfg: 配置 setuptools 以支持安装和打包库.

• setup.py: Python 包的主要元数据, 被用于创建源代码或二进制包.

• train.txt: 示例数据文件.

项目启动文件介绍

虽然simpletransformers不完全具备单一的"启动"文件, 使用此库通常涉及调用一个主要脚本来执行训练或预测任务. 在examples/目录下, 比如你可以找到这样的示例脚本:

• run_classification.py: 使用序列分类任务的例子.

• run_squad.py: 针对SQuAD数据集的问题解答示例.

这些脚本可以作为基本模板来调整您的实际应用. 只需替换参数和数据位置即可运行.

例如, 若要运行文本分类任务, 您可能会修改并运行examples/run_classification.py:

from simpletransformers.classification import ClassificationModel

model = ClassificationModel("bert", "bert-base-cased")
model.train_model(train_df)
predictions, raw_outputs = model.predict(test_df)

项目配置文件介绍

simpletransformers并没有专门的全局配置文件, 因而其配置都是通过脚本参数和模型初始化参数来完成的. 如在脚本中初始化一个模型时, 您可以通过传递一个字典给args参数来指定配置选项. 这些选项包括但不限于:

• reprocess_input_data: 是否重新处理输入数据.

• overwrite_output_dir: 输出目录是否存在的情况下是否覆盖.

• num_train_epochs: 模型应该进行多少轮训练.

• learning_rate: 学习率, 控制权重更新的速度.

例如, 在我们的文本分类实例中, 我们可能添加自定义参数如下:

model_args = {
    "reprocess_input_data": True,
    "overwrite_output_dir": True,
    "num_train_epochs": 3,
    "learning_rate": 1e-5
}

model = ClassificationModel("bert", "bert-base-cased", args=model_args)

通过这种方式, 您可以轻松地定制Simple Transformers以适应特定需求而不必编辑底层代码.