code、math、science、logic四大领域占比如何?Qwen3.8-27B-Distillation-40K数据分布完整分析
code、math、science、logic四大领域占比如何?Qwen3.8-27B-Distillation-40K数据分布完整分析
Qwen3.8-27B-Distillation-40K 是由 Qwen3.8-27B 模型蒸馏生成的 40,000 条推理轨迹(reasoning traces)数据集,覆盖 code、math、science、logic 四大领域,总 Token 量约 2.3 亿。本文将带你完整分析它的数据分布:各领域占比、12 个开源数据来源明细、思考链 Token 分布,以及如何快速上手使用这份 SFT 数据集。
📊 数据集概览:4 万条推理轨迹是怎么来的?
这份数据集由团队在本地基础设施上运行 Qwen3.8-27B 生成,采用 FP8 精度、medium 推理强度,通过 vLLM 推理引擎产出,估算生成成本仅约 $80,性价比极高。
| 指标 | 数值 |
|---|---|
| 总样本数 | 40,000 条 |
| 教师模型 | Qwen3.8-27B(FP8) |
| 总 Token 量 | 229,980,687(约 230M) |
| Assistant Token | 224,414,445(约 224.4M) |
思考 Token(think 块) |
147,744,072(约 147.7M) |
| User Token | 5,566,242(约 5.57M) |
| 平均每条样本 Token | 约 5,749 |
| 许可协议 | Apache 2.0 |
💡 每条样本都包含
think...思考链 + 最终回答,是典型的 Chain-of-Thought(思维链)蒸馏数据,适合用于提升小模型的推理能力。
🔍 四大领域占比:code 近半壁江山
这是全文最核心的部分。40,000 条样本按 domain 字段的分布如下:
| 领域 | 样本数 | 占比 | 特点 |
|---|---|---|---|
| code(编程) | 16,006 | 40.02% | 占比最高,几乎独占四成 |
| math(数学) | 10,994 | 27.48% | 与 code 合计近 7 成 |
| science(科学) | 7,000 | 17.50% | 含物理等学科知识 |
| logic(逻辑推理) | 6,000 | 15.00% | 逻辑谜题类 |
| 合计 | 40,000 | 100% | — |
几个关键结论:
- 🥇 code + math 合计 67.5%:数据集明显偏向"硬核"技术推理,如果你的目标模型主要处理编程与数学任务,这份数据高度对口;
- 🥈 science + logic 合计 32.5%:为科学常识与逻辑谜题类推理提供了补充,避免模型只会在代码场景下思考;
- 领域间比例约为 8 : 5.5 : 3.5 : 3,并非均分,而是按"实用推理场景"权重倾斜。
🧩 12 个数据来源明细:提示词从哪来?
所有提示词(prompt)均采样自 12 个开源数据集,按样本数排序如下:
| 数据来源 | 样本数 | 占比 | 对应领域(推算) |
|---|---|---|---|
| ianncity/Hunter-Alpha-Programming-160000x | 10,014 | 25.04% | code |
| ianncity/GLM-5.2-Logic-Puzzles | 5,500 | 13.75% | logic |
| ianncity/GLM-5.2-Science | 5,051 | 12.63% | science |
| open-r1/OpenR1-Math-220k | 4,000 | 10.00% | math |
| nvidia/OpenMathReasoning | 3,994 | 9.98% | math |
| Modotte/CodeX-2M-Thinking | 2,999 | 7.50% | code |
| GetSoloTech/Code-Reasoning | 2,993 | 7.48% | code |
| AI-MO/NuminaMath-CoT | 2,000 | 5.00% | math |
| EricLu/SCP-116K | 1,400 | 3.50% | science |
| zwhe99/DeepMath-103K | 1,000 | 2.50% | math |
| Hothan/OlympiadBench | 549 | 1.37% | science |
| lukaemon/bbh | 500 | 1.25% | logic |
📌 分布解读:编程类来源贡献了 25%+ 的最大单一来源;数学类来源多达 4 个(OpenR1-Math-220k、OpenMathReasoning、NuminaMath-CoT、DeepMath-103K),合计 10,994 条,与 math 领域总量精确吻合,说明来源与领域映射高度一致。
🧠 思考链 Token 分布:三分之二是"思考过程"
从 Token 结构看这份数据集的"思考浓度":
- 思考 Token 占 Assistant Token 的 约 65.8%(147.7M / 224.4M)——超过 2/3 的输出是推理过程而非最终答案;
- 平均每条样本约 5,749 个 Token,其中思考部分平均约 3,694 个,说明单条推理链相当完整;
- 每条数据都带有
tokens_total与tokens_think两个计数字段(使用 Qwen3.8 tokenizer 统计),方便你训练时做长度过滤或按思考密度分层采样。
📁 数据格式与文件结构
数据以 3 个 Parquet 分片存放,文件资料如下:
- data/train-00000-of-00003.parquet
- data/train-00001-of-00003.parquet
- data/train-00002-of-00003.parquet
每条样本的字段结构(完整说明见 README.md):
| 字段 | 类型 | 说明 |
|---|---|---|
messages |
list[dict] | 标准对话格式,含 user 与 assistant 两个角色 |
messages[1].content |
str | 固定为 think... 思考块 + 最终回答 |
domain |
str | 四大领域之一:code / math / science / logic |
category |
str | 细粒度主题(如 python、physics、olympiads),未指定时为 - |
source |
str | 提示词采样的原始数据集名称 |
tokens_total |
int | 总 Token 数(user + assistant) |
tokens_think |
int | 仅 think 块内的 Token 数 |
🚀 快速上手:如何加载这份数据
得益于标准的 messages 对话格式,主流微调框架均可直接加载:
from datasets import load_dataset
dataset = load_dataset("faunix/Qwen3.8-27B-Distillation-40K", split="train")
print(dataset[0]["messages"]) # 完整对话(think + 回答)
print(dataset[0]["domain"]) # code / math / science / logic
print(dataset[0]["tokens_think"]) # 思考 Token 数
在 Axolotl 或 Unsloth 中同样一行配置即可接入(chat_template: qwen3_5),配置示例见 README.md。
❓ 常见问题 FAQ
Q1:这份数据适合微调什么规模的模型?
平均每条约 5,749 Token,训练时建议将 max_seq_length 设置在 8K 左右,覆盖绝大多数样本。
Q2:只想要某个领域的数据怎么办?
每条数据都带 domain 字段,一行过滤即可,例如只保留编程样本:
code_only = dataset.filter(lambda x: x["domain"] == "code")
Q3:数据去重了吗? 已做基础去重:移除了重复和无效样本,总量 40,000 条为清洗后的最终数量。
Q4:许可协议是什么? Apache 2.0,可自由用于实验与自有模型的微调。
✅ 总结
Qwen3.8-27B-Distillation-40K 的数据分布可以概括为一句话:code 占 40%、math 占 27.5%、science 占 17.5%、logic 占 15%,来源横跨 12 个开源数据集,思考链占输出 Token 的近三分之二。对于想用低成本、高质量思维链数据提升模型推理能力的开发者来说,这是一份开箱即用的 SFT 训练素材。