AntOmniEvo安全指南:验证集硬隔离防过拟合设计与沙箱权限审计详解
AntOmniEvo安全指南:验证集硬隔离防过拟合设计与沙箱权限审计详解
AntOmniEvo 是一个自动进化(auto-evolution)框架,让 LLM 编码 Agent 充当"7×24 小时的算法工程师团队",持续优化你的 Agent 技能、工作流与提示词等可调产物。但让 AI 自动改文件,安全与防过拟合是绕不开的底线。本文带你详解 AntOmniEvo 的验证集硬隔离设计——如何用 train/val 双数据集与 val_system_run/ 禁区杜绝验证集过拟合,以及如何审计 proposer 的沙箱权限,帮你安心跑长时进化任务。
为什么自动进化框架必须考虑"安全设计"?
传统调参只搜索少量数值参数,而 AntOmniEvo 的优化对象是一整个目录的真实文件:改 Markdown 规则、改 Python 实现、加校验脚本都可以,变异由编码 Agent 直接落盘(见 docs/features.zh-CN.md)。表达力越大,风险也越大:
- 过拟合风险:Agent 可能"背答案"——把验证集题目的特征写进可调产物,分数虚高,上线即翻车;
- 越权风险:proposer 是一个拥有文件读写能力的 LLM Agent,如果它能读到验证集轨迹,隔离形同虚设;
- 失控风险:长时运行、并发进化,token 和时间都可能超支。
AntOmniEvo 针对这三类风险分别给出了机制化答案:验证集硬隔离、沙箱权限分层、预算硬上限。
验证集硬隔离:防过拟合的三道闸门
第一道闸门:train/val 双数据集分工
优化器启动时同时接收 train_dataset 与 val_dataset 两个数据集(antomnievo/optimizer/optimizer.py),职责严格分离:
| 数据集 | 用途 | 决策内容 |
|---|---|---|
| 训练集(train batch) | 每轮取一小批数据做 rollout,父/子候选在此对决 | 决定「这次变异值不值得保留」 |
| 验证集(val) | 候选被接受后重评,写入官方 avg_score |
决定「候选在种群中的位置」 |
只有闯过训练批对决阈值(min_improvement_per_batch)的候选,才会被 _step_validate 拿到验证集上重新评分并进入候选池。验证集分数是唯一的"官方成绩",从机制上杜绝了"在验证集上调分数"的可能。
第二道闸门:val_system_run/ 目录禁区
每个候选的磁盘布局里,训练与验证的运行记录被物理分开存放(docs/system-design.zh-CN.md):
system_run/{data_id}/:训练 RunRecord,proposer 分析失败轨迹时可读;val_system_run/{data_id}/:验证 RunRecord,文档明确标注为 proposer 禁区(off-limits)。
proposer 两阶段流程(Phase 1 分析失败运行 → Phase 2 变异落盘)只被喂训练集轨迹,因此它根本看不到任何验证集上的行为,无法针对验证题做"应试优化"。
第三道闸门:两种 proposer 后端的权限控制
AntOmniEvo 内置两种编码 Agent 后端,控制强度不同(antomnievo/proposer/):
- ClaudeCodeProposer(claude_code_utils.py):以
--dangerously-skip-permissions运行,依赖提示词中声明的访问规则约束行为,属于"软隔离"; - PiCodingAgentProposer(pi_coding_agent_utils.py):通过运行时 extension 做硬拦截——
block-val-system-run.ts直接从工具层禁止读取val_system_run/下的内容,enforce-changelog-cli.ts强制变更必须走append-changelogCLI。官方文档明确指出:Pi 路线的控制更强。
🔒 实践建议:如果安全要求高,优先选择 Pi 后端;使用 Claude 后端时,需自行审计提示词中的访问声明(详见 docs/when-to-use.md 中的合规提示)。
沙箱权限审计:动手前必查的 5 项清单
官方文档对"严格合规输出"场景有一条明确提醒:proposer 在沙箱中编辑文件,请自行审计沙箱权限。以下是审计要点:
- proposer 的可写范围:Phase 2 变异 Agent 的 cwd 是子候选的
artifact_dir,确认你的可调产物目录与敏感文件(密钥、生产配置)物理隔离; - 验证集可读性:Pi 后端默认加载
block-val-system-run.ts硬拦截;如自研后端,必须提供等价机制,否则验证集硬隔离只完成了前两道闸门; - 被优化系统自身的沙箱:例如 TerminalBench 场景通过 Harbor 在 Docker 容器中执行任务(terminalbench_optimizer.py 在任务结束后自动清理容器、镜像与网络);DP Text2SQL 场景则由 dp_text2sql_optimizer.py 动态生成 Dockerfile,把执行环境圈进一次性容器;
- 预算硬上限:
Budget模型(antomnievo/model/budget.py)提供max_iterations、max_rollouts、max_tokens、max_elapsed_seconds四个正交硬上限,任一达到即停止开新槽位、在飞任务排空后退出,相当于资源层面的"熔断器"; - 审计日志可追溯性:所有变更以 append-only 的
changelog.jsonl记录血统,validate-analysis对分析结果做质量门自检,statistics.json与iteration_records.jsonl留档每次迭代——出问题时可以完整回放进化过程。
小结
AntOmniEvo 的安全设计可以概括为一句话:用机制而不是自觉来保证可信。训练/验证集双闸门防过拟合,val_system_run/ 禁区 + Pi extension 硬拦截堵住 proposer 越权,Docker 沙箱 + Budget 硬上限圈住执行边界,append-only changelog 让每一次变异可回放、可审计。理解了这些设计,你既敢让 AI 团队 7×24 小时跑进化,也能清楚知道安全边界画在哪里。
📌 延伸阅读:docs/system-design.zh-CN.md(完整架构与数据布局)、docs/features.zh-CN.md(验证集硬隔离特性说明)、docs/checkpoint-resume.zh-CN.md(断点续跑机制)。



