HolyCyber 17个领域层完整清单:128M token网络安全指令数据如何按层取用

原创2026-11-03 18:18:351,879 阅读

HolyCyber 17个领域层完整清单:128M token网络安全指令数据如何按层取用

HolyCyber 是一个面向防御型网络安全助手的大型指令微调数据集:它把 MITRE ATT&CK、CWE、CAPEC、CISA KEV、SigmaHQ 等权威公开来源拆解成 17 个独立的领域层(layer),每层都是一份可单独取用的 JSONL 数据集,全库合计约 51,988 行、1.28 亿 token,每一行都是一段至少 2,000 token 的"实体简报式"问答。这篇清单带你一文看懂 17 个领域层各装了什么、该按什么思路取用。

先看全局:1.28 亿 token 是怎么组成的

一句话概括:17 个领域层各自独立构建,全局数据集是它们的去重合并。

指标 数值
领域层(layers) 17 个,每个层 ≥2,000 行
总行数 51,988(各层合计)/ 51,805(全局去重后)
总 token 128,064,492(cl100k_base,user + assistant)
单行规模 最低 2,050 / 中位数约 2,300 token,无一低于 2,000
数据划分 train / val / test,按源实体(group_key)切分,杜绝跨集泄漏
对话形式 三轮 chat:system + user + assistant
当前版本 2.3.0(见 VERSION)

每行都是"自包含简报":一个实体(一条 ATT&CK 技术、一个 CWE 弱点、一条 KEV 漏洞、一条 Sigma 规则……)配上针对它的防御向提问和长文回答。想不下载 1.2 GB 全量数据就能看质量?打开 SAMPLES.md 即可,它渲染了每个领域的 1 条完整样例行,对应原始数据在 samples.jsonl。

17 个领域层完整清单

完整表格来自 layers/INDEX.md,每个层目录下还有一份专属数据说明 layers/threat_intelligence/DATASET_CARD.md(格式相同,路径换一下 domain 名即可)。按用途可分成五组:

🕵️ 威胁认知层:先看懂对手

领域层 行数 Token 数 主要来源
threat_intelligence 威胁情报 2,865 6.58M ATT&CK 团伙、活动、软件、战术
attack_knowledge 攻击知识 2,925 6.69M CAPEC 攻击模式

🛡️ 防御工程层:检测、防守、验证与响应

领域层 行数 Token 数 主要来源
detection_engineering 检测工程 7,970 17.96M SigmaHQ 规则、ATT&CK 检测策略
defense_engineering 防御工程 2,995 6.96M D3FEND 技术、ATT&CK 缓解措施
pentest 渗透测试(授权框架) 2,846 6.68M ATT&CK 技术、测试类论文
incident_response 事件响应 2,993 7.03M ATT&CK 技术、NIST SP 800-61

🌐 安全基建领域层:按技术栈选

领域层 行数 Token 数 主要来源
vulnerability_management 漏洞管理 3,493 7.88M CWE 弱点、CISA KEV
network_security 网络安全 2,383 5.71M ATT&CK 网络技术、NIST SP 800-41、RFC
cloud_security 云安全 2,254 5.31M ATT&CK 云/容器技术、NIST SP 800-190
malware_analysis 恶意软件分析 2,105 5.18M ATT&CK 恶意软件与工具、分析论文
identity_access 身份与访问 2,310 5.50M ATT&CK 凭据/提权技术、NIST SP 800-63B
cryptography 密码学 2,101 6.10M CWE 密码弱点、NIST SP 800-57/90A/38x、RFC
secure_coding 安全编码 2,659 6.27M CWE 弱点(含示例代码)、OWASP 清单

🤖 AI/ML 安全层

领域层 行数 Token 数 主要来源
ai_ml_security AI/ML 安全 4,602 13.50M MITRE ATLAS、AI 安全论文、OWASP AI 清单
ml_security_methodology 安全 ML 方法论 2,111 6.31M 安全机器学习方法论论文

📋 治理与行为边界层

领域层 行数 Token 数 主要来源
governance_risk 治理与风险 3,176 7.74M KEV 条目、ATT&CK 缓解、控制映射
safety_boundary 安全边界(拒绝/红队行为) 2,200 6.65M AI 安全论文(越狱、拒绝、红队)

💡 表中 token 数最大的是 detection_engineering(约 1,800 万),最小的是 malware_analysis(约 520 万)。每层的详细统计(子域、任务类型、行数分布)都可以去对应目录下的 DATASET_CARD.md 查。

理解一条记录:元数据决定你怎么取

每行是一条 JSON,关键字段决定了取用方式(完整字段表见 DATASET_CARD.md):

字段 取用时的作用
domain / subdomain 这条属于哪一层、层的哪个切面
task_type 19 种提问形态之一(检测、缓解、映射、响应……),可按任务筛选
group_key 源实体;train/val/test 就是按它切的,同一实体不会跨集
tokens 实测 token 数(user / assistant / total),预算控制直接用它,无需重新分词
core_share 答案中"实体自身内容"占比,其余是带标签的参考附录
appendix / references 是否有 ## Reference: 附录、可解析的引用链接
license 该行的许可来源(NIST、MITRE、arXiv 各论文……)

core_share 值得多说一句:像 KEV 这类"短实体",自身记录撑不满 2,000 token 底线,构建管线会用同领域的其他实体补一段带 ## Reference: 标签的附录。附录是"复用文本"而非新事实,所以这个字段告诉你:这一行有多少比例是关于它自己。比如 cryptography、ai_ml_security、cryptography 的 core share 达 100%,而 attack_knowledge 中位数只有 6%——取用时心里要有数。

按层取用的三条路径

路径一:直接取单个领域层(最常用)。每个层目录下就是标准的三件套 train.jsonl / val.jsonl / test.jsonl,用 datasets 加载即可:

from datasets import load_dataset

# 只取检测工程这一层
ds = load_dataset("json", data_files={
    "train": "layers/detection_engineering/train.jsonl",
    "validation": "layers/detection_engineering/val.jsonl",
    "test": "layers/detection_engineering/test.jsonl",
})

路径二:取全局合并数据集。根目录的 train.jsonl、val.jsonl、test.jsonl 是 17 层拼接后再删除"答案已出现在其他层"的重复行,适合训练一个通用防御助手,保证答案文本不重复。

路径三:按元数据二次筛选。既然 tokens、core_share、appendix 都是逐行实测的,筛选和掩码都是纯文本操作:

# 只保留以实体自身内容为主的行
core = ds["train"].filter(lambda r: r["core_share"] >= 0.5)

# 控制 batch 的 token 预算
short = ds["train"].filter(lambda r: r["tokens"]["total"] <= 2600)

微调时如果想让 loss 只落在实体自身内容上,把 ## Reference: 之后的附录块 mask 掉即可——附录就是刻意留了标签的两行过滤的事。

快速选型:你的目标对应哪几层

你的目标 建议取用
训练"检测工程师"助手 detection_engineering,可加 threat_intelligence 补背景
训练漏洞治理/合规场景 vulnerability_management + governance_risk
训练 AI 安全助手 ai_ml_security + ml_security_methodology + safety_boundary
让模型学会"好好拒绝" safety_boundary(2,200 行拒绝/重定向/授权行为)
覆盖全栈的通用防御助手 全局 train.jsonl(40,998 行)

质量与合规要点

  • 纯防御向:无可用漏洞利用代码、无恶意软件、无武器化越狱提示;pentest 层也以授权测试为框架。
  • 去污染:与 27 个基准语料库做 25-gram 重叠检测,每行带 canary 标记;具体数字见 research/AUDIT_REPORT.md。
  • 来源全可溯源:每份语料文档在 research/fetch_manifest.csv 有 url、日期、许可记录,来源总览见 research/SOURCE_TABLE.md。
  • 许可混合:数据集是来源的衍生作品,NIST/KEV 属公共领域,MITRE 系需署名,arXiv 逐论文记录在行的 license 字段;再分发建议保守采用 CC BY-SA 4.0 并核查 references。

小结

HolyCyber 的分层设计让"取用"变得非常简单:要专精,按层拿;要通用,拿全局合并集;要精细,用 core_share / tokens 二次过滤。17 层 × 1.28 亿 token、全程防御向、来源可审计——下一篇可以深入某一层看看具体行长什么样,先从 layers/detection_engineering/DATASET_CARD.md 开始是不错的选择。

登录后查看全文
HolyCyber