HolyCyber 17个领域层完整清单:128M token网络安全指令数据如何按层取用
HolyCyber 17个领域层完整清单:128M token网络安全指令数据如何按层取用
HolyCyber 是一个面向防御型网络安全助手的大型指令微调数据集:它把 MITRE ATT&CK、CWE、CAPEC、CISA KEV、SigmaHQ 等权威公开来源拆解成 17 个独立的领域层(layer),每层都是一份可单独取用的 JSONL 数据集,全库合计约 51,988 行、1.28 亿 token,每一行都是一段至少 2,000 token 的"实体简报式"问答。这篇清单带你一文看懂 17 个领域层各装了什么、该按什么思路取用。
先看全局:1.28 亿 token 是怎么组成的
一句话概括:17 个领域层各自独立构建,全局数据集是它们的去重合并。
| 指标 | 数值 |
|---|---|
| 领域层(layers) | 17 个,每个层 ≥2,000 行 |
| 总行数 | 51,988(各层合计)/ 51,805(全局去重后) |
| 总 token | 128,064,492(cl100k_base,user + assistant) |
| 单行规模 | 最低 2,050 / 中位数约 2,300 token,无一低于 2,000 |
| 数据划分 | train / val / test,按源实体(group_key)切分,杜绝跨集泄漏 |
| 对话形式 | 三轮 chat:system + user + assistant |
| 当前版本 | 2.3.0(见 VERSION) |
每行都是"自包含简报":一个实体(一条 ATT&CK 技术、一个 CWE 弱点、一条 KEV 漏洞、一条 Sigma 规则……)配上针对它的防御向提问和长文回答。想不下载 1.2 GB 全量数据就能看质量?打开 SAMPLES.md 即可,它渲染了每个领域的 1 条完整样例行,对应原始数据在 samples.jsonl。
17 个领域层完整清单
完整表格来自 layers/INDEX.md,每个层目录下还有一份专属数据说明 layers/threat_intelligence/DATASET_CARD.md(格式相同,路径换一下 domain 名即可)。按用途可分成五组:
🕵️ 威胁认知层:先看懂对手
| 领域层 | 行数 | Token 数 | 主要来源 |
|---|---|---|---|
threat_intelligence 威胁情报 |
2,865 | 6.58M | ATT&CK 团伙、活动、软件、战术 |
attack_knowledge 攻击知识 |
2,925 | 6.69M | CAPEC 攻击模式 |
🛡️ 防御工程层:检测、防守、验证与响应
| 领域层 | 行数 | Token 数 | 主要来源 |
|---|---|---|---|
detection_engineering 检测工程 |
7,970 | 17.96M | SigmaHQ 规则、ATT&CK 检测策略 |
defense_engineering 防御工程 |
2,995 | 6.96M | D3FEND 技术、ATT&CK 缓解措施 |
pentest 渗透测试(授权框架) |
2,846 | 6.68M | ATT&CK 技术、测试类论文 |
incident_response 事件响应 |
2,993 | 7.03M | ATT&CK 技术、NIST SP 800-61 |
🌐 安全基建领域层:按技术栈选
| 领域层 | 行数 | Token 数 | 主要来源 |
|---|---|---|---|
vulnerability_management 漏洞管理 |
3,493 | 7.88M | CWE 弱点、CISA KEV |
network_security 网络安全 |
2,383 | 5.71M | ATT&CK 网络技术、NIST SP 800-41、RFC |
cloud_security 云安全 |
2,254 | 5.31M | ATT&CK 云/容器技术、NIST SP 800-190 |
malware_analysis 恶意软件分析 |
2,105 | 5.18M | ATT&CK 恶意软件与工具、分析论文 |
identity_access 身份与访问 |
2,310 | 5.50M | ATT&CK 凭据/提权技术、NIST SP 800-63B |
cryptography 密码学 |
2,101 | 6.10M | CWE 密码弱点、NIST SP 800-57/90A/38x、RFC |
secure_coding 安全编码 |
2,659 | 6.27M | CWE 弱点(含示例代码)、OWASP 清单 |
🤖 AI/ML 安全层
| 领域层 | 行数 | Token 数 | 主要来源 |
|---|---|---|---|
ai_ml_security AI/ML 安全 |
4,602 | 13.50M | MITRE ATLAS、AI 安全论文、OWASP AI 清单 |
ml_security_methodology 安全 ML 方法论 |
2,111 | 6.31M | 安全机器学习方法论论文 |
📋 治理与行为边界层
| 领域层 | 行数 | Token 数 | 主要来源 |
|---|---|---|---|
governance_risk 治理与风险 |
3,176 | 7.74M | KEV 条目、ATT&CK 缓解、控制映射 |
safety_boundary 安全边界(拒绝/红队行为) |
2,200 | 6.65M | AI 安全论文(越狱、拒绝、红队) |
💡 表中 token 数最大的是
detection_engineering(约 1,800 万),最小的是malware_analysis(约 520 万)。每层的详细统计(子域、任务类型、行数分布)都可以去对应目录下的DATASET_CARD.md查。
理解一条记录:元数据决定你怎么取
每行是一条 JSON,关键字段决定了取用方式(完整字段表见 DATASET_CARD.md):
| 字段 | 取用时的作用 |
|---|---|
domain / subdomain |
这条属于哪一层、层的哪个切面 |
task_type |
19 种提问形态之一(检测、缓解、映射、响应……),可按任务筛选 |
group_key |
源实体;train/val/test 就是按它切的,同一实体不会跨集 |
tokens |
实测 token 数(user / assistant / total),预算控制直接用它,无需重新分词 |
core_share |
答案中"实体自身内容"占比,其余是带标签的参考附录 |
appendix / references |
是否有 ## Reference: 附录、可解析的引用链接 |
license |
该行的许可来源(NIST、MITRE、arXiv 各论文……) |
core_share 值得多说一句:像 KEV 这类"短实体",自身记录撑不满 2,000 token 底线,构建管线会用同领域的其他实体补一段带 ## Reference: 标签的附录。附录是"复用文本"而非新事实,所以这个字段告诉你:这一行有多少比例是关于它自己。比如 cryptography、ai_ml_security、cryptography 的 core share 达 100%,而 attack_knowledge 中位数只有 6%——取用时心里要有数。
按层取用的三条路径
路径一:直接取单个领域层(最常用)。每个层目录下就是标准的三件套 train.jsonl / val.jsonl / test.jsonl,用 datasets 加载即可:
from datasets import load_dataset
# 只取检测工程这一层
ds = load_dataset("json", data_files={
"train": "layers/detection_engineering/train.jsonl",
"validation": "layers/detection_engineering/val.jsonl",
"test": "layers/detection_engineering/test.jsonl",
})
路径二:取全局合并数据集。根目录的 train.jsonl、val.jsonl、test.jsonl 是 17 层拼接后再删除"答案已出现在其他层"的重复行,适合训练一个通用防御助手,保证答案文本不重复。
路径三:按元数据二次筛选。既然 tokens、core_share、appendix 都是逐行实测的,筛选和掩码都是纯文本操作:
# 只保留以实体自身内容为主的行
core = ds["train"].filter(lambda r: r["core_share"] >= 0.5)
# 控制 batch 的 token 预算
short = ds["train"].filter(lambda r: r["tokens"]["total"] <= 2600)
微调时如果想让 loss 只落在实体自身内容上,把 ## Reference: 之后的附录块 mask 掉即可——附录就是刻意留了标签的两行过滤的事。
快速选型:你的目标对应哪几层
| 你的目标 | 建议取用 |
|---|---|
| 训练"检测工程师"助手 | detection_engineering,可加 threat_intelligence 补背景 |
| 训练漏洞治理/合规场景 | vulnerability_management + governance_risk |
| 训练 AI 安全助手 | ai_ml_security + ml_security_methodology + safety_boundary |
| 让模型学会"好好拒绝" | safety_boundary(2,200 行拒绝/重定向/授权行为) |
| 覆盖全栈的通用防御助手 | 全局 train.jsonl(40,998 行) |
质量与合规要点
- 纯防御向:无可用漏洞利用代码、无恶意软件、无武器化越狱提示;
pentest层也以授权测试为框架。 - 去污染:与 27 个基准语料库做 25-gram 重叠检测,每行带 canary 标记;具体数字见 research/AUDIT_REPORT.md。
- 来源全可溯源:每份语料文档在 research/fetch_manifest.csv 有 url、日期、许可记录,来源总览见 research/SOURCE_TABLE.md。
- 许可混合:数据集是来源的衍生作品,NIST/KEV 属公共领域,MITRE 系需署名,arXiv 逐论文记录在行的
license字段;再分发建议保守采用 CC BY-SA 4.0 并核查references。
小结
HolyCyber 的分层设计让"取用"变得非常简单:要专精,按层拿;要通用,拿全局合并集;要精细,用 core_share / tokens 二次过滤。17 层 × 1.28 亿 token、全程防御向、来源可审计——下一篇可以深入某一层看看具体行长什么样,先从 layers/detection_engineering/DATASET_CARD.md 开始是不错的选择。