category-trainer 数据划分策略详解:分层采样如何保持类别分布一致

原创2026-11-05 09:27:581,896 阅读
文章标签:人工智能深度学习微调NLP机器学习

category-trainer 数据划分策略详解:分层采样如何保持类别分布一致

category-trainer 是一个基于 all-MiniLM-L12-v2 的文本分类微调工具,支持从 CSV 加载数据并自动完成训练集/测试集划分。它的核心亮点之一,就是在数据划分阶段使用分层采样(stratified sampling)策略,确保划分后的训练集与测试集类别分布保持一致,从源头避免"测试集看不到稀有类别"这类评估失真问题。本文带你完整理解这套数据划分策略的原理、实现细节与配套的数据泄露防护机制。


为什么随机划分会"坑"你的分类模型?

在做文本分类时,第一步往往是最容易被忽视的一步:如何把数据切分成训练集和测试集。

如果简单地把数据随机打散再切 8:2,可能会遇到两种典型问题:

问题 后果
某稀有类别的样本全被切进训练集 测试集没有该类别,指标完全无法反映其真实表现
测试集类别比例与真实业务分布不一致 整体准确率"虚高"或"虚低",早停机制被误导

📌 分类任务中,测试集本质上是"模拟线上数据分布"的。如果切分方式让分布漂移,你评估出的准确率就不可信。

项目自带的示例数据 sample_data.csv 是一个均衡场景:共 35 条记录、7 个类别(手机、笔记本电脑、运动鞋、耳机、平板电脑、服装、饮品),每类恰好 5 条。即使在这种均衡数据上,分层划分也能保证测试集 20% 的比例逐类别精确成立——每一类都稳定地拿出 1 条进测试集。

分层采样原理:stratify 参数在做什么

category-trainer 的划分逻辑集中在 split_data 方法中,核心只有一行关键代码:

train_test_split(
    texts,
    categories,
    test_size=test_size,
    random_state=random_state,
    stratify=categories,  # 保持类别分布
)

stratify=categories 的作用相当于:

  1. 按类别分组:先把所有样本按 分类 列的值分成若干桶;
  2. 各桶独立抽样:在每个类别桶内,各自按 test_size 比例抽取样本进入测试集,其余留在训练集;
  3. 合并输出:两个集合的类别比例因此与原始数据完全一致。

相关参数默认值定义在 src/config.py 中:

  • TEST_SIZE = 0.2:测试集占 20%,可按数据量调整;
  • RANDOM_SEED = 42:固定随机种子,保证每次划分结果可复现。

在训练入口 main.py 中,划分发生在整个流程的第 2 步("划分训练集和测试集"),并即时打印两个集合的样本数,方便你核对是否符合预期。

与 LabelEncoder 配合:划分在先、编码在后

分层采样解决的是"切得准",而 category-trainer 还通过执行顺序解决了"切得安全"。

很多新手会先编码标签再划分,这可能导致一个隐蔽的坑:LabelEncoder 在全量数据上拟合后,测试集里出现了训练集没有的类别时才会报错。而 category-trainer 的流水线刻意把划分放在编码之前(见 main.py 第 2、2.5 步):

步骤 操作 对应方法
1 加载 CSV,保留原始类别字符串 load_csv_data
2 按原始字符串做分层划分 split_data
2.5 仅在训练集上 fit 编码器 fit_labels
2.5 用同一编码器编码训练集与测试集 encode_labels

这样做带来两个好处:

  • ✅ 无数据泄露:编码器只见过训练集,评估更客观(README 中将其列为"数据泄露防护"特性);
  • ✅ 映射完整落盘:类别映射随最佳模型 checkpoint 一起保存,推理时可直接复用,见 post_trained_validate.py。

用单元测试验证分布是否真的保持一致

"说了等于做了"在工程里不算数,category-trainer 用测试用例锁死了这一行为。test/test_data_processor.py 中的 test_split_preserves_category_distribution 用例断言:

  • 训练集和测试集的类别集合都包含全部 3 个类别({"手机", "笔记本电脑", "运动鞋"});
  • 两个集合样本数之和等于总样本数,无遗漏。

运行 python3 -m pytest test/ -v 即可验证。同一文件里还有配套用例覆盖"编码器只在训练集上 fit"(test_fit_labels_on_train_only)与"编码-解码可逆"(test_encode_decode_roundtrip),共同构成数据流水线的质量保障。

实用建议:划分时该注意什么

  • 小类别样本太少怎么办? 分层采样要求每个类别在每个集合中至少有 1 条样本。若某类别只有 2~3 条数据,test_size=0.2 可能无法满足分层条件,建议先补充数据,或临时调小 TEST_SIZE。
  • 想要更保守的评估? 数据量充足时可把 TEST_SIZE 调到 0.25~0.3,让测试集更接近"独立验收";改动只需在 src/config.py 修改一行。
  • 需要换一种切分结果? 修改 RANDOM_SEED 即可得到不同的(但同样保持分布的)划分,便于做多组实验对比。
  • 类别数或样本量变化后,关注 docs/train_logs/ 下生成的训练日志,核对训练集/测试集样本数与类别列表是否符合预期。

小结

机制 作用 位置
stratify=categories 分层采样 训练/测试集类别分布一致 src/data_processor.py
划分在前、编码在后 防止标签映射数据泄露 main.py
固定 RANDOM_SEED 划分结果可复现 src/config.py
单元测试锁定分布断言 行为长期不回归 test/test_data_processor.py

一句话总结:category-trainer 通过分层采样 + 延迟编码 + 固定随机种子 + 测试锁定四层设计,让"数据划分"这一步从经验操作变成了可验证的工程流程。理解并复用这套策略,你的每一个文本分类项目都会更加稳健。 🎯

登录后查看全文
category-trainer