code、math、science、logic四大领域占比如何?Qwen3.8-27B-Distillation-40K数据分布完整分析

原创2026-10-21 18:53:172,307 阅读

code、math、science、logic四大领域占比如何?Qwen3.8-27B-Distillation-40K数据分布完整分析

Qwen3.8-27B-Distillation-40K 是由 Qwen3.8-27B 模型蒸馏生成的 40,000 条推理轨迹(reasoning traces)数据集,覆盖 code、math、science、logic 四大领域,总 Token 量约 2.3 亿。本文将带你完整分析它的数据分布:各领域占比、12 个开源数据来源明细、思考链 Token 分布,以及如何快速上手使用这份 SFT 数据集。


📊 数据集概览:4 万条推理轨迹是怎么来的?

这份数据集由团队在本地基础设施上运行 Qwen3.8-27B 生成,采用 FP8 精度、medium 推理强度,通过 vLLM 推理引擎产出,估算生成成本仅约 $80,性价比极高。

指标 数值
总样本数 40,000 条
教师模型 Qwen3.8-27B(FP8)
总 Token 量 229,980,687(约 230M)
Assistant Token 224,414,445(约 224.4M)
思考 Token(think 块) 147,744,072(约 147.7M)
User Token 5,566,242(约 5.57M)
平均每条样本 Token 约 5,749
许可协议 Apache 2.0

💡 每条样本都包含 think... 思考链 + 最终回答,是典型的 Chain-of-Thought(思维链)蒸馏数据,适合用于提升小模型的推理能力。


🔍 四大领域占比:code 近半壁江山

这是全文最核心的部分。40,000 条样本按 domain 字段的分布如下:

领域 样本数 占比 特点
code(编程) 16,006 40.02% 占比最高,几乎独占四成
math(数学) 10,994 27.48% 与 code 合计近 7 成
science(科学) 7,000 17.50% 含物理等学科知识
logic(逻辑推理) 6,000 15.00% 逻辑谜题类
合计 40,000 100% —

几个关键结论:

  • 🥇 code + math 合计 67.5%:数据集明显偏向"硬核"技术推理,如果你的目标模型主要处理编程与数学任务,这份数据高度对口;
  • 🥈 science + logic 合计 32.5%:为科学常识与逻辑谜题类推理提供了补充,避免模型只会在代码场景下思考;
  • 领域间比例约为 8 : 5.5 : 3.5 : 3,并非均分,而是按"实用推理场景"权重倾斜。

🧩 12 个数据来源明细:提示词从哪来?

所有提示词(prompt)均采样自 12 个开源数据集,按样本数排序如下:

数据来源 样本数 占比 对应领域(推算)
ianncity/Hunter-Alpha-Programming-160000x 10,014 25.04% code
ianncity/GLM-5.2-Logic-Puzzles 5,500 13.75% logic
ianncity/GLM-5.2-Science 5,051 12.63% science
open-r1/OpenR1-Math-220k 4,000 10.00% math
nvidia/OpenMathReasoning 3,994 9.98% math
Modotte/CodeX-2M-Thinking 2,999 7.50% code
GetSoloTech/Code-Reasoning 2,993 7.48% code
AI-MO/NuminaMath-CoT 2,000 5.00% math
EricLu/SCP-116K 1,400 3.50% science
zwhe99/DeepMath-103K 1,000 2.50% math
Hothan/OlympiadBench 549 1.37% science
lukaemon/bbh 500 1.25% logic

📌 分布解读:编程类来源贡献了 25%+ 的最大单一来源;数学类来源多达 4 个(OpenR1-Math-220k、OpenMathReasoning、NuminaMath-CoT、DeepMath-103K),合计 10,994 条,与 math 领域总量精确吻合,说明来源与领域映射高度一致。


🧠 思考链 Token 分布:三分之二是"思考过程"

从 Token 结构看这份数据集的"思考浓度":

  • 思考 Token 占 Assistant Token 的 约 65.8%(147.7M / 224.4M)——超过 2/3 的输出是推理过程而非最终答案;
  • 平均每条样本约 5,749 个 Token,其中思考部分平均约 3,694 个,说明单条推理链相当完整;
  • 每条数据都带有 tokens_total 与 tokens_think 两个计数字段(使用 Qwen3.8 tokenizer 统计),方便你训练时做长度过滤或按思考密度分层采样。

📁 数据格式与文件结构

数据以 3 个 Parquet 分片存放,文件资料如下:

每条样本的字段结构(完整说明见 README.md):

字段 类型 说明
messages list[dict] 标准对话格式,含 user 与 assistant 两个角色
messages[1].content str 固定为 think... 思考块 + 最终回答
domain str 四大领域之一:code / math / science / logic
category str 细粒度主题(如 python、physics、olympiads),未指定时为 -
source str 提示词采样的原始数据集名称
tokens_total int 总 Token 数(user + assistant)
tokens_think int 仅 think 块内的 Token 数

🚀 快速上手:如何加载这份数据

得益于标准的 messages 对话格式,主流微调框架均可直接加载:

from datasets import load_dataset

dataset = load_dataset("faunix/Qwen3.8-27B-Distillation-40K", split="train")

print(dataset[0]["messages"])      # 完整对话(think + 回答)
print(dataset[0]["domain"])        # code / math / science / logic
print(dataset[0]["tokens_think"]) # 思考 Token 数

在 Axolotl 或 Unsloth 中同样一行配置即可接入(chat_template: qwen3_5),配置示例见 README.md。


❓ 常见问题 FAQ

Q1:这份数据适合微调什么规模的模型? 平均每条约 5,749 Token,训练时建议将 max_seq_length 设置在 8K 左右,覆盖绝大多数样本。

Q2:只想要某个领域的数据怎么办? 每条数据都带 domain 字段,一行过滤即可,例如只保留编程样本:

code_only = dataset.filter(lambda x: x["domain"] == "code")

Q3:数据去重了吗? 已做基础去重:移除了重复和无效样本,总量 40,000 条为清洗后的最终数量。

Q4:许可协议是什么? Apache 2.0,可自由用于实验与自有模型的微调。


✅ 总结

Qwen3.8-27B-Distillation-40K 的数据分布可以概括为一句话:code 占 40%、math 占 27.5%、science 占 17.5%、logic 占 15%,来源横跨 12 个开源数据集,思考链占输出 Token 的近三分之二。对于想用低成本、高质量思维链数据提升模型推理能力的开发者来说,这是一份开箱即用的 SFT 训练素材。

登录后查看全文
Qwen3.8-27B-Distillation-40K