一次捕获、无限回放:LuaN1aoAgent 流量捕获与 Replay 回放机制从零到源码详解
一次捕获、无限回放:LuaN1aoAgent 流量捕获与 Replay 回放机制从零到源码详解
LuaN1aoAgent 是一款基于图推理的自主 AI 渗透测试智能体,它的网络沙箱会把 Agent 发出的每一次请求通过 mitmproxy 完整捕获为 .mitm Flow 文件,并支持在 Web 工作台中一键 Replay 回放历史流量。本文从"流量如何落盘、历史如何查询、回放如何执行"三层讲透这套 流量捕获 + Replay 回放 机制,最后附上源码地图,帮助你读懂每一环的实现。
💡 核心思想:一次捕获、无限回放。原始攻击不需要重复打目标,证据可以反复复现、修改、验证。
为什么渗透测试需要"捕获 + 回放"?
传统渗透测试工具抓包后,数据往往沉睡在硬盘里。LuaN1aoAgent 把捕获的流量变成可执行证据:
- 可追溯:每条 Flow 都带
taskRef、epochRef、routeRef等元数据,能回答"这个请求是哪个任务、哪条路由发出的"。 - 可复现:停止运行(甚至重启机器)后,历史 Flow 仍然可以被编辑参数并重新发送。
- 可审计:回放本身也会被捕获为一条新的 Flow,通过
replay_of字段指回不可变的源 Flow,形成证据链。 - 有边界:磁盘配额、并发上限、路由校验都内置在机制里,不会无限膨胀或越权直连。
整个机制由两条互补的捕获线组成:
| 捕获线 | 适用模式 | 存储形式 | 回放能力 |
|---|---|---|---|
| Docker 透明网关(mitmproxy) | 首选 Docker 沙箱 | 分段 .mitm Flow 文件 + .net.jsonl 遥测 |
完整 HTTP Flow 回放 |
| traffic-proxy 显式代理 | workspace 兼容模式 | SQLite exchanges 表 + 内容寻址 Blob |
按 exchange_id 回放 |
捕获层:流量如何被"透明"落盘
1. 每个 Task 独立的 Gateway 与 Flow 写入
Docker 模式下,每个任务拥有独立 Gateway,Executor 里的 curl、原始 socket 都无需配置代理——IPv4 TCP 经策略路由进入 TUN 网关,由 mitmproxy 透明捕获。捕获逻辑核心是 CaptureWriter:
- HTTP Flow 在
response/error钩子结束时写入;TCP Flow 在tcp_end时写入(原始 TCP 只截留有限字节做遥测)。 - 请求/响应正文超过 1 MiB 时只截断持久化副本(并记录
requestObservedBytes等元数据),实时转发完全不受影响,详见 正文截断逻辑。 - 每个 Flow 会被打上一个 epoch 标签(
epochRef、flowFile),并自动匹配目标 IP 所属的 Route 定义,补全routeRef/connectionRef。
每个 epoch 的产物落在 <runtime>/traffic/flows/<task>/ 下:
web-replay/
├── 2026xxxx-xxxx.mitm # 分段后的 Flow 文件(.mitm 二进制)
├── 2026xxxx-xxxx.net.jsonl # 连接遥测
└── *.quota.json # 配额与淘汰清单
2. 分段捕获:用配额换"永不写满磁盘"
无限运行最怕的是磁盘被打满。SegmentedCapture 用"滚动分段 + 保留窗口"解决:
- 滚动(rotate):当前文件逼近
segmentBytes(默认 64 MiB)时,原子重命名为part-000001-n000000123.mitm,文件名内嵌序号与 Flow 计数,见 _rotate。 - 保留(retention):最多保留
max_files(默认 8)个分段,超出的最旧分段被改为.evicted墓碑并登记到quota.json,见 _enforce_retention。 - 可恢复:进程重启后会扫描墓碑文件重建淘汰账本(_recover_tombstones),淘汰数量对外可见——UI 会明确提示"部分历史已被淘汰",而不是静默丢数据。
🎯 设计取舍:捕获系统优先保证运行永不阻塞,写盘失败只记状态文件,不影响请求转发。
3. 在 Web 工作台观察捕获结果
用带认证的 Web 工作台(npm run web -- --runtime-dir .agent-runtime/sessions/<session> --port 8787)即可看到左侧 Web Traffic 面板:每条记录区分 HTTP 与原始 TCP,正文按需加载,并明确展示截断/淘汰状态。
历史层:Index 只读容器与 history 查询协议
运行结束后,进程退出了,流量还在。LuaN1aoAgent 的取巧之处是:Index 不是第二事实源,而是一个随时可以按需拉起的只读容器,从磁盘上的 .mitm / SQLite 文件重建视图(实现见 index_server.py)。
traffic-proxy 侧提供三类控制命令(NDJSON 帧协议,完整说明见 traffic-proxy/README.md):
| 命令 | 作用 | 关键约束 |
|---|---|---|
history_list |
分页列出流量 | 支持按 task_ref/route_ref/method/host/时间窗/status 过滤,游标基于不可变 ID |
history_get |
取单条完整记录 | 返回排序后的请求/响应头与截断标志 |
history_body |
按需读取正文 | 最大 256 KiB,base64 安全返回 |
对应的 HistoryList 实现 支持最多 100 条/页、最新优先,replay_of、quota_pressure、evicted_exchanges 等字段全部随行返回——UI 能否回放、数据是否完整,一眼可判断。
回放层:Replay 如何安全地执行
1. 从 UI 发起:管理员专属入口
Web 端点为 POST /api/traffic/history/:id/replay,路由见 web-server.ts,要求:
- 管理员权限:分析员可以查看敏感历史,但只有持有
traffic:replaycapability 的管理员能回放。 - CSRF 防护:同源 double-submit token,变更请求必须携带。
- 审计留痕:ExecutionLog 记录
traffic_replay_requested/succeeded/failed事件,但绝不记录 override 的 URL、header、body 等秘密内容。
UI 侧的 ReplayEditor 允许修改 method、URL、headers、body,发送前弹出确认框,并明确提示"回放会真实打到目标"。TCP 记录则直接展示"不可回放"提示。
2. 三条安全防线:回放 ≠ 重放漏洞
回放功能最容易变成武器化后门,LuaN1aoAgent 在 Proxy.Replay 中设置了层层校验:
- 源可回放性:只有正文完整的 HTTP 记录能回放;
CONNECT、passthrough、截断或正文缺失的源直接拒绝(prepareReplay)。 - 请求合法性:拒绝 hop-by-hop 头(
Connection/Proxy-Authorization等)、与 URL 冲突的Host头、控制字符、自环目标;头总量限制 64 KiB,body 限制 1 MiB。 - 资源边界:每个
runtime_ref并发回放上限 4 路、默认 30 秒超时,失败也会落库一条mode=replay的记录(带稳定error_code),成功或失败都有据可查。
Docker 网关路径由 replay_client.py 执行实际发送,其中 validate_route_target 会解析目标域名并把所有解析 IP 与原始路由的 CIDR 比对——目标一旦漂移出原路由范围就拒绝,从机制上杜绝"借回放之名打未授权目标"。
3. Replay Gateway:历史回放按需拉起网络
活动 Run 直接复用受管网络;针对已退出 Run 的历史回放,ReplayGatewayRuntime 会按需启动一个独立的可复用 Gateway 容器与任务网络,回放完成后清理。两条铁律:
- 保留原
routeRef:原 Route 不可用时绝不回退直连,而是报错要求管理员先route_reconnect重连同一 Route 引用。 - 回放即新证据:回放的响应同样写入
.mitm(epoch 名为web-replay:<uuid>),新 Flow 的replay_of指向源 Flow,证据链闭环。
4. 回放结果如何进入推理图
回放不是终点:新产生的响应会继续走"捕获 → 观察 → 投影"管道,作为证据进入推理图。下图是工作台中的因果推理图视图——Evidence、Hypothesis、Vulnerability、Exploit 层层关联,回放补充的新证据会挂在对应节点上:
源码地图:5 分钟定位关键实现
| 关注点 | 文件 | 说明 |
|---|---|---|
| Flow 捕获与截断 | network-image/flow_capture.py | mitmproxy addon,epoch/route 打标 |
| 分段与配额 | network-image/segmented_capture.py | 滚动分段、保留窗口、墓碑恢复 |
| 只读历史索引 | network-image/index_server.py | 从文件重建流量视图 |
| 历史查询 | traffic-proxy/history.go | 分页/过滤/正文读取 |
| 回放执行(代理侧) | traffic-proxy/replay.go | 校验、限流、落库 |
| 回放执行(网关侧) | network-image/replay_client.py | CIDR 路由校验 |
| 回放网关运行时 | src/connectivity/replay-gateway-runtime.ts | 按需容器、route 恢复 |
| Web API 与审计 | src/web-server.ts | 权限、CSRF、ExecutionLog |
| 前端回放编辑器 | web/src/components/TrafficInspector.tsx | 参数编辑与确认 |
| 控制协议文档 | traffic-proxy/README.md | 完整命令与边界说明 |
配套测试可以对照阅读:network-image/test_segmented_capture.py、network-image/test_replay_client.py、traffic-proxy/replay_test.go、test/web-server-replay.test.ts。
快速上手:从捕获到回放的 3 步
- 跑一次运行:
npm start -- --goal "…" --scope "…",Agent 的所有目标流量自动落盘到traffic/flows/。 - 打开工作台:
npm run web -- --runtime-dir .agent-runtime/sessions/<session> --port 8787,在 Web Traffic 里筛选mode(MITM/Replay/…)与目标主机。 - 编辑并回放:选中一条 HTTP Flow → Edit Replay → 修改 method/headers/body → 确认发送。新 Flow 即刻出现在列表里,
replay_of指回源记录。
⚠️ 回放会真实发送请求到目标。请确保目标仍在你的书面授权范围内,并使用隔离环境运行。
小结
LuaN1aoAgent 的流量机制值得借鉴的三个设计:
- 捕获无感:透明网关 + 正文截断只影响副本,Agent 工具循环零改动、零阻塞。
- 持久可查:分段文件 + 配额清单 + 只读 Index,重启后证据链依然完整。
- 回放有界:完整正文校验、hop-by-hop 清洗、路由 CIDR 锁定、并发与超时上限,让"无限回放"始终是受控的回放。
理解这套机制,你就同时掌握了它最核心的可观测性与安全性设计——这正是"以图思考、全程可观测"这一理念在网络层的落地。

