200,000样本×29数据源:lev训练数据配方与防污染设计全拆解
200,000样本×29数据源:lev训练数据配方与防污染设计全拆解
🤖 lev 训练数据配方一次讲透:这个开源决策模型如何用 20 万条样本、29 个数据源(基于 26 个公开数据集)炼出一个 4B 参数、零输出 token 的意图分类与内容审核利器?它又靠什么"防污染设计"保证 S1Bench 成绩真实可信?本文带你完整拆解 lev 的训练数据配方与训练细节。
一、先认识 lev:一次前向传播回答多个类型化问题
lev 是一个基于 Qwen3.5-4B + LoRA 的适配器(adapter),专门回答"类型化问题":给定一段上下文(工单、邮件、文本、JSON),你可以同时问出是/否(noul)、多选(choice)、打分(score)三类问题,它在一次前向传播里把所有答案从 logits 中读出,并返回经过校准的概率。
这意味着:问 8 个问题和问 1 个问题成本几乎相同,且不生成任何 token——答案空间就是你给的选项集合,它结构性地不可能返回集合之外的标签。官方基准成绩为 S1Bench 全部 13 个子集 68.9% 宏平均。
二、数据配方全景:8 大任务族 × 26 个公开数据集
lev 的训练数据由 29 个数据源构成,全部建立在 26 个公开 Hugging Face 数据集之上,合计 200,000 条样本。按任务类型可以归为 8 大族:
| 任务族 | 使用的数据集 | 训练的目标能力 |
|---|---|---|
| 主题 / 情感 / 情绪分类 | 若干分类数据集 | 文本归类基础能力 |
| 意图检测 | banking77、clinc_oos、snips | 客服工单路由(lev 的主场) |
| 自然语言推理 NLI | SNLI、ANLI、FEVER | 蕴含/矛盾判断、事实核查 |
| 释义判断 | MRPC、QQP、PARADE + 换词构造的困难负样本 | 抗改写、抗"一字之差" |
| 多选问答 | RACE、ARC、SciQ、OpenBookQA、CommonsenseQA、StrategyQA | 从多选项中挑正确答案 |
| 毒性与安全 | ToxiGen、ToxicChat、BeaverTails | 内容审核、安全过滤 |
| 帮助度评级 | UltraFeedback | 5 级质量打分(score 型问题) |
💡 为什么"29 个数据源"比"26 个数据集"多?因为同一数据集被加工出了不同变体(例如为释义任务额外构造的换词困难负样本),一个数据集可以贡献多个训练源。
这个配方的设计意图很清晰:lev 要学的是"回答格式本身",而不是记住某一句话。任务族覆盖广,模型才能学会把任意上下文映射到"你给定的选项集合"上。
三、数据增强:让 20 万条"像"上百万条
光堆数据不够,lev 的配方里最关键的一环是对问题本身做变换(README.md):
- 问题改写(paraphrase):同一语义的问题用不同措辞反复出现,模型学到的是意图而非固定句式;
- 否定变换(negation):"这句话有毒吗?"与"这句话安全吗?"交替出现,避免模型死记"关键词→答案";
- 题型互换(recast):同一个判断可以在 yes/no、choice、score 三种题型之间重铸,模型因此能泛化到任意题型;
- 选项打乱 + 选项数量随机化(shuffle & resize):选项顺序和个数不断变化,位置偏差被天然抵消。
这四招合起来的效果是:模型记住的是"问题格式"这个元能力,而不是某一次具体的措辞。这也是 lev 能对"从未见过的标签集合"(比如你自己产品里的 60 个分类)做泛化的根本原因。
四、防污染设计:数据构建阶段直接"拒收" 🛡️
这是 lev 配方里最值得学习的一环:污染防护(contamination guard)。
规则只有一条,但非常硬:
数据构建流程会拒绝任何能解析为 S1Bench 13 个评测子集之一的数据源。
也就是说,防线不在"训练后自查",而是前移到数据入口:如果某个源的数据与 13 个评测子集(boolq、squad2、paws、vitaminc 等)存在可解析的同一来源关系,构建脚本直接拒收。再配合上面第三节的改写、换序、变题,lev 在 S1Bench 上拿到的 68.9% 成绩,是"真的会做这类判断",而不是"背过考题"。
对想自建评测的开发者来说,这是一个可以直接抄作业的实践:先列出评测集 → 在数据管道里做来源比对 → 命中即拒收。
五、训练配方:一张 H100、7.8 小时就能复现的 LoRA 设置 🚀
lev 用 LoRA 微调,训练超参数完全公开(README.md),全部配置可从仓库文件核验:
| 参数 | 取值 |
|---|---|
| 基座模型 | Qwen3.5-4B |
| LoRA rank / alpha | r=32 / α=64 |
| 作用模块 | q/k/v/o 注意力投影 + MLP 三投影(gate/up/down_proj) |
| LoRA dropout | 0.05(见 adapter_config.json) |
| 训练轮数 / 步数 | 3 epochs / 18,750 steps(训练步数记录于 lev_release.json) |
| batch size / 学习率 | 32 / 5e-5 |
| 提示格式 | 基座模型自己的 chat 模板(chat_template.jinja) |
| 硬件 / 耗时 | 1 张 H100,约 7.8 小时 |
其中有两个容易被忽略、但贡献巨大的决定:
- 用基座自己的 chat 格式训练:未微调模型在 6 子集评测上,仅靠换用基座 chat 模板就涨了 5.7 分,最终训练全部采用该格式;
- 训练后校准:训练结束后按"题型 × 读出模式 × 选项数量档"分别拟合温度系数,随仓库发布(calibration.json),加载时自动生效,ECE 从 0.180 降到 0.061。
六、配方兑现的成绩:held-out 评测一览 📊
配方有没有用,看与训练集零行重叠的 held-out 划分(来自 29 个训练源):
| 指标 | 数值 |
|---|---|
| 加权准确率 | 0.807 |
| ECE(校准后 / 校准前) | 0.061 / 0.180 |
| banking77(77 个意图) | 0.980 |
| clinc_oos(151 个意图) | 0.968 |
| FEVER 事实核查 | 0.872 |
意图检测两项接近满分,正对应数据配方里 banking77 / clinc_oos / snips 三个意图源的重度投入——数据配比与目标场景强相关,这是这份配方最值得借鉴的思路:为你要上的场景,配足对应的数据族。
七、总结:新手可以直接抄的 3 点 📝
- 数据入口设防:评测集来源比对 + 命中拒收,防污染要前移到数据构建阶段;
- 变换问题而非只堆数据:改写、否定、题型互换、选项打乱,让模型学格式而非背措辞;
- 按场景调数据配比:你的主战场(意图路由/审核/打分)在 29 个源里占多大比重,决定了模型上线后的真实上限。
想核验本文提到的每一项数据与超参数,直接对照 README.md 的 Training 一节以及 lev_release.json、calibration.json 即可。
