如何 5 分钟用 category-trainer 跑通第一个文本分类模型?完整快速开始教程

原创2026-11-05 09:19:102,156 阅读
文章标签:人工智能深度学习微调NLP机器学习

如何 5 分钟用 category-trainer 跑通第一个文本分类模型?完整快速开始教程

想快速上手 category-trainer 这个文本分类工具吗?category-trainer 是一个基于 all-MiniLM-L12-v2 的中文文本分类微调工具,只需一份 CSV 表格,就能几分钟内训练出你的第一个文本分类模型,并自动输出混淆矩阵和预测结果。这篇快速开始教程带你 5 分钟从零跑通完整流程,无需复杂配置 🚀


为什么选择 category-trainer?

在做「商品名称 → 类目」「工单 → 分类」「评论 → 意图」这类任务时,手动写规则又慢又不准。category-trainer 用预训练模型 + 微调的思路,让机器从少量样本里自动学会分类规律。

它的三大新手友好特性:

  • 🪶 轻量模型:内置微软开源的 all-MiniLM-L12-v2(仅 33M 参数),普通 CPU 就能跑,不用 GPU。
  • 📊 开箱即用:自动完成数据划分、标签编码、早停、最佳模型保存,不用你写一行训练代码。
  • 🧪 结果可视化:训练完直接给你混淆矩阵图片和每条预测的置信度。

第一步:初始化环境(一键安装)

首次使用只需一条命令,它会安装全部 Python 依赖并拉取预训练模型:

make init

如果你的环境不方便用 make,也可以手动安装核心依赖: pip install torch transformers scikit-learn pandas numpy matplotlib seaborn

详细组件版本说明可参考 README.md。

预训练模型文件会存放在 models/all-MiniLM-L12-v2-Concise/ 目录下,后续训练会自动读取它。


第二步:准备一份 CSV 训练数据

category-trainer 需要的数据非常简单——一个 CSV 文件,两列:

列名 说明 示例
名字 待分类的文本 iPhone 15 Pro
分类 它所属的类别 手机

项目里已经自带了一份示例数据 sample_data.csv,包含 35 条记录、7 个类别(手机、笔记本电脑、运动鞋、耳机、平板电脑、服装、饮品):

名字,分类
iPhone 15 Pro,手机
MacBook Pro,笔记本电脑
Nike Air Max,运动鞋
星巴克拿铁,饮品

💡 小贴士:数据不用多,先跑通流程再扩量。真实场景中建议每个类别至少准备 20~30 条,效果会更好。

如果你有自己格式的数据,也可以用命令行参数指定列名,无需修改文件。


第三步:指定运行设备(可跳过)

训练前可以按需修改设备,配置入口在 src/config.py 的 DEVICE 参数:

设备 配置值 适用场景
CPU DEVICE = "cpu" 默认值,小数据集完全够用
CUDA GPU DEVICE = "cuda" 安装了 CUDA 版 PyTorch
昇腾 NPU DEVICE = "npu" 需先执行 make install-npu

新手直接保持默认的 cpu 即可,无需改动。


第四步:启动训练,坐等结果

用项目自带的 make 命令一键训练,最快最省心:

make run

它会调用 main.py 完成完整的 5 步流程:加载数据 → 划分训练/测试集 → 初始化训练器 → 训练 → 评估,训练日志自动存到 docs/train_logs/ 目录,方便回看。

如果你想用自己的数据、自定义列名,可以手动指定参数:

python3 main.py --data_path your_data.csv --name_column 名字 --category_column 分类

你会看到什么?

训练过程中,终端会实时打印每个 epoch 的损失和准确率,例如:

Epoch 8/100
Train Loss: 0.7883 | Train Acc: 1.0000
Test Acc: 0.3889
✓ 保存最佳模型 (epoch: 8, 准确率: 0.3889)

当模型连续几个 epoch 没有提升时,会自动早停,避免过度训练浪费时间:

早停触发!连续 8 个 epoch 无提升,停止训练。
***训练完成! 最佳测试准确率: 0.4444, epoch: 11***

这里的准确率低是因为示例数据太少(每类仅 5 条)。换成真实数据后,指标会显著提升,这是完全正常的现象。


第五步:查看你的第一个分类模型

训练完成后,所有产物都保存在 output/ 目录:

  • 📦 最佳模型:output/model/best_model.pt —— 保存了测试表现最好的那一版,含模型权重、类别映射和配置。
  • 📈 混淆矩阵图:output/confusion_matrix.png —— 直观看出模型把哪些类别分对了、哪些分错了。

对新文本做预测

想验证模型对一批新文本的分类效果?运行训练后验证脚本即可:

python3 post_trained_validate.py --data_path sample_data.csv

它会加载刚才的模型,逐条输出「预测类别 + 置信度 + 原文」,例如:

手机	0.8104	iPhone 15 Pro
运动鞋	0.7158	Nike Air Max
饮品	0.7753	可口可乐

平均置信度低于 0.5 时,脚本会贴心地给出改进建议(增加数据量、调整学习率等)。推理逻辑见 post_trained_validate.py。


新手常见问题 FAQ

Q1:没有 GPU 能跑吗? 完全可以。默认就是 DEVICE = "cpu",小数据集几分钟就能训完。

Q2:我的数据列名不是「名字/分类」怎么办? 不用改代码,训练时加参数 --name_column 你的列名 --category_column 你的列名 即可。

Q3:如何微调训练轮数、批次大小? 打开 src/config.py,修改 Config 类里的 NUM_EPOCHS、BATCH_SIZE、LEARNING_RATE 等参数,改完重新 make run 就行。

Q4:怎么判断模型好不好? 看 output/confusion_matrix.png 混淆矩阵 + 终端的分类报告(precision / recall / f1-score),评估逻辑在 src/evaluator.py。


小结

跟着上面 5 步,你已经成功用 category-trainer 跑通了第一个文本分类模型 🎉

步骤 命令 / 动作 产物
初始化环境 make init 依赖 + 预训练模型
准备数据 编辑 CSV(两列) 训练数据
指定设备 改 DEVICE(可跳过) —
开始训练 make run 模型 + 日志
查看结果 打开 output/ 模型 + 混淆矩阵

核心代码模块一览:入口 main.py、数据预处理 src/data_processor.py、模型训练 src/trainer.py、评估可视化 src/evaluator.py、参数配置 src/config.py。

下一步,换上你自己的真实数据,开始训练一个真正好用的文本分类器吧!

登录后查看全文
category-trainer