category-trainer 数据划分策略详解:分层采样如何保持类别分布一致
category-trainer 数据划分策略详解:分层采样如何保持类别分布一致
category-trainer 是一个基于 all-MiniLM-L12-v2 的文本分类微调工具,支持从 CSV 加载数据并自动完成训练集/测试集划分。它的核心亮点之一,就是在数据划分阶段使用分层采样(stratified sampling)策略,确保划分后的训练集与测试集类别分布保持一致,从源头避免"测试集看不到稀有类别"这类评估失真问题。本文带你完整理解这套数据划分策略的原理、实现细节与配套的数据泄露防护机制。
为什么随机划分会"坑"你的分类模型?
在做文本分类时,第一步往往是最容易被忽视的一步:如何把数据切分成训练集和测试集。
如果简单地把数据随机打散再切 8:2,可能会遇到两种典型问题:
| 问题 | 后果 |
|---|---|
| 某稀有类别的样本全被切进训练集 | 测试集没有该类别,指标完全无法反映其真实表现 |
| 测试集类别比例与真实业务分布不一致 | 整体准确率"虚高"或"虚低",早停机制被误导 |
📌 分类任务中,测试集本质上是"模拟线上数据分布"的。如果切分方式让分布漂移,你评估出的准确率就不可信。
项目自带的示例数据 sample_data.csv 是一个均衡场景:共 35 条记录、7 个类别(手机、笔记本电脑、运动鞋、耳机、平板电脑、服装、饮品),每类恰好 5 条。即使在这种均衡数据上,分层划分也能保证测试集 20% 的比例逐类别精确成立——每一类都稳定地拿出 1 条进测试集。
分层采样原理:stratify 参数在做什么
category-trainer 的划分逻辑集中在 split_data 方法中,核心只有一行关键代码:
train_test_split(
texts,
categories,
test_size=test_size,
random_state=random_state,
stratify=categories, # 保持类别分布
)
stratify=categories 的作用相当于:
- 按类别分组:先把所有样本按
分类列的值分成若干桶; - 各桶独立抽样:在每个类别桶内,各自按
test_size比例抽取样本进入测试集,其余留在训练集; - 合并输出:两个集合的类别比例因此与原始数据完全一致。
相关参数默认值定义在 src/config.py 中:
TEST_SIZE = 0.2:测试集占 20%,可按数据量调整;RANDOM_SEED = 42:固定随机种子,保证每次划分结果可复现。
在训练入口 main.py 中,划分发生在整个流程的第 2 步("划分训练集和测试集"),并即时打印两个集合的样本数,方便你核对是否符合预期。
与 LabelEncoder 配合:划分在先、编码在后
分层采样解决的是"切得准",而 category-trainer 还通过执行顺序解决了"切得安全"。
很多新手会先编码标签再划分,这可能导致一个隐蔽的坑:LabelEncoder 在全量数据上拟合后,测试集里出现了训练集没有的类别时才会报错。而 category-trainer 的流水线刻意把划分放在编码之前(见 main.py 第 2、2.5 步):
| 步骤 | 操作 | 对应方法 |
|---|---|---|
| 1 | 加载 CSV,保留原始类别字符串 | load_csv_data |
| 2 | 按原始字符串做分层划分 | split_data |
| 2.5 | 仅在训练集上 fit 编码器 | fit_labels |
| 2.5 | 用同一编码器编码训练集与测试集 | encode_labels |
这样做带来两个好处:
- ✅ 无数据泄露:编码器只见过训练集,评估更客观(README 中将其列为"数据泄露防护"特性);
- ✅ 映射完整落盘:类别映射随最佳模型 checkpoint 一起保存,推理时可直接复用,见 post_trained_validate.py。
用单元测试验证分布是否真的保持一致
"说了等于做了"在工程里不算数,category-trainer 用测试用例锁死了这一行为。test/test_data_processor.py 中的 test_split_preserves_category_distribution 用例断言:
- 训练集和测试集的类别集合都包含全部 3 个类别(
{"手机", "笔记本电脑", "运动鞋"}); - 两个集合样本数之和等于总样本数,无遗漏。
运行 python3 -m pytest test/ -v 即可验证。同一文件里还有配套用例覆盖"编码器只在训练集上 fit"(test_fit_labels_on_train_only)与"编码-解码可逆"(test_encode_decode_roundtrip),共同构成数据流水线的质量保障。
实用建议:划分时该注意什么
- 小类别样本太少怎么办? 分层采样要求每个类别在每个集合中至少有 1 条样本。若某类别只有 2~3 条数据,
test_size=0.2可能无法满足分层条件,建议先补充数据,或临时调小TEST_SIZE。 - 想要更保守的评估? 数据量充足时可把
TEST_SIZE调到 0.25~0.3,让测试集更接近"独立验收";改动只需在 src/config.py 修改一行。 - 需要换一种切分结果? 修改
RANDOM_SEED即可得到不同的(但同样保持分布的)划分,便于做多组实验对比。 - 类别数或样本量变化后,关注 docs/train_logs/ 下生成的训练日志,核对训练集/测试集样本数与类别列表是否符合预期。
小结
| 机制 | 作用 | 位置 |
|---|---|---|
stratify=categories 分层采样 |
训练/测试集类别分布一致 | src/data_processor.py |
| 划分在前、编码在后 | 防止标签映射数据泄露 | main.py |
固定 RANDOM_SEED |
划分结果可复现 | src/config.py |
| 单元测试锁定分布断言 | 行为长期不回归 | test/test_data_processor.py |
一句话总结:category-trainer 通过分层采样 + 延迟编码 + 固定随机种子 + 测试锁定四层设计,让"数据划分"这一步从经验操作变成了可验证的工程流程。理解并复用这套策略,你的每一个文本分类项目都会更加稳健。 🎯