为什么PentesterFlow越用越聪明?深入解读其本地持续学习系统原理
为什么PentesterFlow越用越聪明?深入解读其本地持续学习系统原理
PentesterFlow 是一款运行在终端里的开源渗透测试 AI 助手,它的本地持续学习系统(Continuous Learning System)让工具在每次测试中自动积累经验——不重新训练模型、不上传任何数据,全部知识都沉淀在你本机的 JSONL 文件和 Markdown 卡片里。换句话说:它越用越聪明,而"聪明"的每一步都清晰可查、可控可删。
一、先认识 PentesterFlow:会"攒经验"的渗透测试 AI
PentesterFlow 围绕三个核心理念设计(见 PROJECT.md):
- 分析师掌控——敏感操作默认要人批准,范围由你决定;
- 透明执行——curl 优先、命令可复现、证据本地留档;
- 运营式学习——本地项目级 + 个人级知识库持续改进未来会话,模型权重一动不动。
它还内置了 recon、webvuln、ssrf、ssti、jwt、graphql 等一套 Markdown 技能剧本(skills/),覆盖完整测试生命周期:范围 → 侦察 → 枚举 → 验证 → 覆盖 → 报告 → 学习。其中"学习"正是本文主角。
二、本地持续学习系统的三层记忆架构
PentesterFlow 的记忆不是单一文件,而是分工明确的三层(全景文档见 PROJECT.md):
| 层 | 存储位置 | 谁产生 | 形态 |
|---|---|---|---|
| 会话记忆 Session Memory | ~/.pentesterflow/sessions/*.json |
上下文压缩(compaction) | 结构化摘要 + 完整对话 |
| 智能情景库 Intelligence | .pentesterflow/intelligence/scenarios.jsonl |
后台自动提取 | 一行一条的 JSONL 场景卡片 |
| 策划记忆 Curated Memory | .pentesterflow/memory/(每事实一个 .md) |
你手敲 # 快捷添加 |
人可直接阅读的 Markdown |
三层各有分工:会话记忆管"这次做到哪了",情景库管"系统自己悟到的规律",策划记忆管"你明确要求记住的事"。其中情景库就是"越用越聪明"的核心引擎,源码位于 src/intelligence/store.ts。
三、学习发生在哪三个时刻?
学习不是随机的,它精确挂在三个节点上(src/agent/agent.ts):
- 每轮成功工作结束后——只有当本轮真正执行过至少一次成功的工具调用时,才会把"用户问题 + 助手回答"打包送去提取经验(agent.ts#L823-L832)。闲聊和澄清性问题不会污染知识库;
- 手动
/compact压缩时——压缩摘要信息密度最高,是提取经验的最佳素材(agent.ts#L679); - 自动压缩触发时——上下文逼近阈值(默认约 16000 token)自动总结,同样会顺带学习(agent.ts#L1173)。
三个时刻共同的特点是:学习以"发射后不管"(fire-and-forget)方式在后台运行,永不阻塞交互;失败只写日志,不会弹出报错干扰你(agent.ts#L1252-L1260)。
四、学到的东西长什么样:JSONL 场景卡片
learnFromText 会先把文本脱敏(由 src/redact/redact.ts 掩码 Bearer 令牌、AWS/GitHub/OpenAI 密钥、JWT、私钥块等),再按压缩摘要的固定小节归类提取(核心提取逻辑见 store.ts#L314-L553)。每条经验是一张结构化的"场景卡片":
{
"title": "Node source exposure should check PM2 deployment files",
"category": "recon-gap",
"triggers": ["server.js", "package.json", "express", "nginx"],
"technologies": ["Node.js", "Express", "PM2"],
"lesson": "发现 Node 源码暴露时,下一轮枚举要带上部署文件……",
"recommendedChecks": ["ecosystem.config.js", "pm2.json", "package-lock.json"],
"avoidMissing": ["PM2 ecosystem files"],
"confidence": 0.9,
"scope": "project"
}
系统识别 8 类经验,每类有默认置信度(store.ts#L361-L552):
| 情景类别 | 含义 | 置信度 |
|---|---|---|
user-preference |
你的工作习惯与偏好 | 0.82 |
lesson-learned |
踩坑记录、失败路径 | 0.80 |
finding-pattern |
某类现象的验证取证套路 | 0.78 |
proven-workflow |
已验证有效的方法与命令 | 0.76 |
decision |
之前做过的重要决定 | 0.74 |
tool-config |
好用的工具/参数组合 | 0.73 |
next-step |
待办与后续动作 | 0.72 |
coverage-gap |
没测完、需复查的缺口 | 0.70 |
知识存放于双作用域,项目经验不串项目,个人习惯跨项目复用:
| 路径 | 作用域 |
|---|---|
./.pentesterflow/intelligence/scenarios.jsonl |
当前项目/工作区 |
~/.pentesterflow/intelligence/scenarios.jsonl |
个人全局(跨项目) |
同时还有三道"防胖"闸门:按稳定 ID 与"标题+类别"双重去重、单文件上限 5000 条(超出淘汰最旧,store.ts#L231-L246)、原子写入(tmp+rename,0600 权限)防崩溃损坏。
五、召回机制:加权评分 + 14 天半衰期
"学进去"只是第一步,关键在于下一轮怎么"想起来"。每轮对话开始前,buildIntelligenceContext 会拼接"用户消息 + 目标 URL + 目标名 + 会话记忆要点"作为查询,对全部卡片做字段加权评分(store.ts#L767-L794):
| 卡片字段 | 权重 |
|---|---|
| triggers 触发词 | 8× |
| title 标题 | 7× |
| technologies 技术栈 | 6× |
| category / recommendedChecks | 5× |
| avoidMissing 易漏项 | 4× |
| lesson 教训正文 | 2× |
| + confidence 置信度加成 | 0 ~ 1 |
得分之后还会乘以时近性加成:以语料中最新一条为基准,越新的经验排名越高,衰减半衰期为 14 天(store.ts#L811-L816)。最终取 Top 5 且分数 ≥ 6 的卡片,格式化成一段隐藏的系统上下文悄悄注入本轮对话(store.ts#L287-L310)。
值得注意的细节:注入的指引开头就写着"仅作为扫描覆盖指引,报告发现前必须用实时证据验证"——学习经验只帮你少漏测,绝不替代证据,从机制上压制 AI 幻觉。
而策划记忆走另一条召回线:目录索引固定在每轮系统提示里,最相关的 5 条卡片全文被召回注入,终端会明晃晃地显示一行 recalled memory: … 让你知道它想起了什么(memory/store.ts#L301-L313)。
六、安全设计:为什么它不会"失控"
🛡️ 这套本地持续学习系统把"安全"做进了存储链路:
- 先脱敏后落盘——所有学习文本与
#快捷记忆在写入前统一过一遍密钥掩码; - 只写本地——两个 JSONL、两套 Markdown 目录,路径确定、可审计,不经过任何网络;
- 失败静默降级——学习出错只记录到
~/.pentesterflow/logs/,不中断任务; - 随时可清理——内置
clear()可整库清空情景知识,策划记忆可用/memory forget <关键词>精确删除(store.ts#L254-L267)。
七、新手速查:如何查看和管理本地记忆
| 操作 | 方式 |
|---|---|
| 手动沉淀经验 | /compact(压缩即学习) |
| 让 AI 永久记住一句话 | 直接输入 #orders API 的 IDOR 倾向出现在 /api/orders/{id} |
| 记住到个人全局作用域 | #!你的习惯文本 |
| 查看/管理策划记忆 | /memory、/memory list、/memory forget <text> |
| 恢复旧会话继续测 | pentesterflow --resume <session-id> |
| 人工检视学到的卡片 | 打开 .pentesterflow/intelligence/scenarios.jsonl |
# 快捷添加的完整入口逻辑在 src/ui/App.tsx#L477-L510:保存成功后下一轮即生效,无需等待。
总结
PentesterFlow 越用越聪明的秘密,不是模型变了,而是本地持续学习系统在工作:成功的工作轮次与上下文压缩触发后台经验提取 → 脱敏、去重、限量后写成 JSONL 场景卡片 → 下一轮用"字段加权 + 时近衰减"把最相关的 Top 5 悄悄注入上下文。项目级与个人级双作用域、可审计的本地路径、透明的召回提示,让这套记忆既聪明又安全。多测几个项目后回头翻开 scenarios.jsonl,你会看到自己独有的"渗透测试经验库"正在成形。
