一次捕获、无限回放:LuaN1aoAgent 流量捕获与 Replay 回放机制从零到源码详解

原创2026-10-12 17:08:151,977 阅读

一次捕获、无限回放:LuaN1aoAgent 流量捕获与 Replay 回放机制从零到源码详解

LuaN1aoAgent 是一款基于图推理的自主 AI 渗透测试智能体,它的网络沙箱会把 Agent 发出的每一次请求通过 mitmproxy 完整捕获为 .mitm Flow 文件,并支持在 Web 工作台中一键 Replay 回放历史流量。本文从"流量如何落盘、历史如何查询、回放如何执行"三层讲透这套 流量捕获 + Replay 回放 机制,最后附上源码地图,帮助你读懂每一环的实现。

💡 核心思想:一次捕获、无限回放。原始攻击不需要重复打目标,证据可以反复复现、修改、验证。


为什么渗透测试需要"捕获 + 回放"?

传统渗透测试工具抓包后,数据往往沉睡在硬盘里。LuaN1aoAgent 把捕获的流量变成可执行证据:

  • 可追溯:每条 Flow 都带 taskRef、epochRef、routeRef 等元数据,能回答"这个请求是哪个任务、哪条路由发出的"。
  • 可复现:停止运行(甚至重启机器)后,历史 Flow 仍然可以被编辑参数并重新发送。
  • 可审计:回放本身也会被捕获为一条新的 Flow,通过 replay_of 字段指回不可变的源 Flow,形成证据链。
  • 有边界:磁盘配额、并发上限、路由校验都内置在机制里,不会无限膨胀或越权直连。

整个机制由两条互补的捕获线组成:

捕获线 适用模式 存储形式 回放能力
Docker 透明网关(mitmproxy) 首选 Docker 沙箱 分段 .mitm Flow 文件 + .net.jsonl 遥测 完整 HTTP Flow 回放
traffic-proxy 显式代理 workspace 兼容模式 SQLite exchanges 表 + 内容寻址 Blob 按 exchange_id 回放

捕获层:流量如何被"透明"落盘

1. 每个 Task 独立的 Gateway 与 Flow 写入

Docker 模式下,每个任务拥有独立 Gateway,Executor 里的 curl、原始 socket 都无需配置代理——IPv4 TCP 经策略路由进入 TUN 网关,由 mitmproxy 透明捕获。捕获逻辑核心是 CaptureWriter:

  • HTTP Flow 在 response/error 钩子结束时写入;TCP Flow 在 tcp_end 时写入(原始 TCP 只截留有限字节做遥测)。
  • 请求/响应正文超过 1 MiB 时只截断持久化副本(并记录 requestObservedBytes 等元数据),实时转发完全不受影响,详见 正文截断逻辑。
  • 每个 Flow 会被打上一个 epoch 标签(epochRef、flowFile),并自动匹配目标 IP 所属的 Route 定义,补全 routeRef/connectionRef。

每个 epoch 的产物落在 <runtime>/traffic/flows/<task>/ 下:

web-replay/
├── 2026xxxx-xxxx.mitm        # 分段后的 Flow 文件(.mitm 二进制)
├── 2026xxxx-xxxx.net.jsonl   # 连接遥测
└── *.quota.json              # 配额与淘汰清单

2. 分段捕获:用配额换"永不写满磁盘"

无限运行最怕的是磁盘被打满。SegmentedCapture 用"滚动分段 + 保留窗口"解决:

  • 滚动(rotate):当前文件逼近 segmentBytes(默认 64 MiB)时,原子重命名为 part-000001-n000000123.mitm,文件名内嵌序号与 Flow 计数,见 _rotate。
  • 保留(retention):最多保留 max_files(默认 8)个分段,超出的最旧分段被改为 .evicted 墓碑并登记到 quota.json,见 _enforce_retention。
  • 可恢复:进程重启后会扫描墓碑文件重建淘汰账本(_recover_tombstones),淘汰数量对外可见——UI 会明确提示"部分历史已被淘汰",而不是静默丢数据。

🎯 设计取舍:捕获系统优先保证运行永不阻塞,写盘失败只记状态文件,不影响请求转发。

3. 在 Web 工作台观察捕获结果

用带认证的 Web 工作台(npm run web -- --runtime-dir .agent-runtime/sessions/<session> --port 8787)即可看到左侧 Web Traffic 面板:每条记录区分 HTTP 与原始 TCP,正文按需加载,并明确展示截断/淘汰状态。

LuaN1aoAgent 流量捕获工作台:实时轨迹面板展示 Agent 请求与证据


历史层:Index 只读容器与 history 查询协议

运行结束后,进程退出了,流量还在。LuaN1aoAgent 的取巧之处是:Index 不是第二事实源,而是一个随时可以按需拉起的只读容器,从磁盘上的 .mitm / SQLite 文件重建视图(实现见 index_server.py)。

traffic-proxy 侧提供三类控制命令(NDJSON 帧协议,完整说明见 traffic-proxy/README.md):

命令 作用 关键约束
history_list 分页列出流量 支持按 task_ref/route_ref/method/host/时间窗/status 过滤,游标基于不可变 ID
history_get 取单条完整记录 返回排序后的请求/响应头与截断标志
history_body 按需读取正文 最大 256 KiB,base64 安全返回

对应的 HistoryList 实现 支持最多 100 条/页、最新优先,replay_of、quota_pressure、evicted_exchanges 等字段全部随行返回——UI 能否回放、数据是否完整,一眼可判断。


回放层:Replay 如何安全地执行

1. 从 UI 发起:管理员专属入口

Web 端点为 POST /api/traffic/history/:id/replay,路由见 web-server.ts,要求:

  • 管理员权限:分析员可以查看敏感历史,但只有持有 traffic:replay capability 的管理员能回放。
  • CSRF 防护:同源 double-submit token,变更请求必须携带。
  • 审计留痕:ExecutionLog 记录 traffic_replay_requested/succeeded/failed 事件,但绝不记录 override 的 URL、header、body 等秘密内容。

UI 侧的 ReplayEditor 允许修改 method、URL、headers、body,发送前弹出确认框,并明确提示"回放会真实打到目标"。TCP 记录则直接展示"不可回放"提示。

2. 三条安全防线:回放 ≠ 重放漏洞

回放功能最容易变成武器化后门,LuaN1aoAgent 在 Proxy.Replay 中设置了层层校验:

  1. 源可回放性:只有正文完整的 HTTP 记录能回放;CONNECT、passthrough、截断或正文缺失的源直接拒绝(prepareReplay)。
  2. 请求合法性:拒绝 hop-by-hop 头(Connection/Proxy-Authorization 等)、与 URL 冲突的 Host 头、控制字符、自环目标;头总量限制 64 KiB,body 限制 1 MiB。
  3. 资源边界:每个 runtime_ref 并发回放上限 4 路、默认 30 秒超时,失败也会落库一条 mode=replay 的记录(带稳定 error_code),成功或失败都有据可查。

Docker 网关路径由 replay_client.py 执行实际发送,其中 validate_route_target 会解析目标域名并把所有解析 IP 与原始路由的 CIDR 比对——目标一旦漂移出原路由范围就拒绝,从机制上杜绝"借回放之名打未授权目标"。

3. Replay Gateway:历史回放按需拉起网络

活动 Run 直接复用受管网络;针对已退出 Run 的历史回放,ReplayGatewayRuntime 会按需启动一个独立的可复用 Gateway 容器与任务网络,回放完成后清理。两条铁律:

  • 保留原 routeRef:原 Route 不可用时绝不回退直连,而是报错要求管理员先 route_reconnect 重连同一 Route 引用。
  • 回放即新证据:回放的响应同样写入 .mitm(epoch 名为 web-replay:<uuid>),新 Flow 的 replay_of 指向源 Flow,证据链闭环。

4. 回放结果如何进入推理图

回放不是终点:新产生的响应会继续走"捕获 → 观察 → 投影"管道,作为证据进入推理图。下图是工作台中的因果推理图视图——Evidence、Hypothesis、Vulnerability、Exploit 层层关联,回放补充的新证据会挂在对应节点上:

LuaN1aoAgent 回放证据推理图:流量证据连接假设、漏洞与利用结果


源码地图:5 分钟定位关键实现

关注点 文件 说明
Flow 捕获与截断 network-image/flow_capture.py mitmproxy addon,epoch/route 打标
分段与配额 network-image/segmented_capture.py 滚动分段、保留窗口、墓碑恢复
只读历史索引 network-image/index_server.py 从文件重建流量视图
历史查询 traffic-proxy/history.go 分页/过滤/正文读取
回放执行(代理侧) traffic-proxy/replay.go 校验、限流、落库
回放执行(网关侧) network-image/replay_client.py CIDR 路由校验
回放网关运行时 src/connectivity/replay-gateway-runtime.ts 按需容器、route 恢复
Web API 与审计 src/web-server.ts 权限、CSRF、ExecutionLog
前端回放编辑器 web/src/components/TrafficInspector.tsx 参数编辑与确认
控制协议文档 traffic-proxy/README.md 完整命令与边界说明

配套测试可以对照阅读:network-image/test_segmented_capture.py、network-image/test_replay_client.py、traffic-proxy/replay_test.go、test/web-server-replay.test.ts。


快速上手:从捕获到回放的 3 步

  1. 跑一次运行:npm start -- --goal "…" --scope "…",Agent 的所有目标流量自动落盘到 traffic/flows/。
  2. 打开工作台:npm run web -- --runtime-dir .agent-runtime/sessions/<session> --port 8787,在 Web Traffic 里筛选 mode(MITM/Replay/…)与目标主机。
  3. 编辑并回放:选中一条 HTTP Flow → Edit Replay → 修改 method/headers/body → 确认发送。新 Flow 即刻出现在列表里,replay_of 指回源记录。

⚠️ 回放会真实发送请求到目标。请确保目标仍在你的书面授权范围内,并使用隔离环境运行。


小结

LuaN1aoAgent 的流量机制值得借鉴的三个设计:

  • 捕获无感:透明网关 + 正文截断只影响副本,Agent 工具循环零改动、零阻塞。
  • 持久可查:分段文件 + 配额清单 + 只读 Index,重启后证据链依然完整。
  • 回放有界:完整正文校验、hop-by-hop 清洗、路由 CIDR 锁定、并发与超时上限,让"无限回放"始终是受控的回放。

理解这套机制,你就同时掌握了它最核心的可观测性与安全性设计——这正是"以图思考、全程可观测"这一理念在网络层的落地。

登录后查看全文
LuaN1aoAgent