AntOmniEvo安全指南:验证集硬隔离防过拟合设计与沙箱权限审计详解

原创2026-10-16 14:51:041,759 阅读

AntOmniEvo安全指南:验证集硬隔离防过拟合设计与沙箱权限审计详解

AntOmniEvo 是一个自动进化(auto-evolution)框架,让 LLM 编码 Agent 充当"7×24 小时的算法工程师团队",持续优化你的 Agent 技能、工作流与提示词等可调产物。但让 AI 自动改文件,安全与防过拟合是绕不开的底线。本文带你详解 AntOmniEvo 的验证集硬隔离设计——如何用 train/val 双数据集与 val_system_run/ 禁区杜绝验证集过拟合,以及如何审计 proposer 的沙箱权限,帮你安心跑长时进化任务。

AntOmniEvo 可视化器候选详情面板,展示验证集分数与运行记录

为什么自动进化框架必须考虑"安全设计"?

传统调参只搜索少量数值参数,而 AntOmniEvo 的优化对象是一整个目录的真实文件:改 Markdown 规则、改 Python 实现、加校验脚本都可以,变异由编码 Agent 直接落盘(见 docs/features.zh-CN.md)。表达力越大,风险也越大:

  • 过拟合风险:Agent 可能"背答案"——把验证集题目的特征写进可调产物,分数虚高,上线即翻车;
  • 越权风险:proposer 是一个拥有文件读写能力的 LLM Agent,如果它能读到验证集轨迹,隔离形同虚设;
  • 失控风险:长时运行、并发进化,token 和时间都可能超支。

AntOmniEvo 针对这三类风险分别给出了机制化答案:验证集硬隔离、沙箱权限分层、预算硬上限。

验证集硬隔离:防过拟合的三道闸门

第一道闸门:train/val 双数据集分工

优化器启动时同时接收 train_dataset 与 val_dataset 两个数据集(antomnievo/optimizer/optimizer.py),职责严格分离:

数据集 用途 决策内容
训练集(train batch) 每轮取一小批数据做 rollout,父/子候选在此对决 决定「这次变异值不值得保留」
验证集(val) 候选被接受后重评,写入官方 avg_score 决定「候选在种群中的位置」

只有闯过训练批对决阈值(min_improvement_per_batch)的候选,才会被 _step_validate 拿到验证集上重新评分并进入候选池。验证集分数是唯一的"官方成绩",从机制上杜绝了"在验证集上调分数"的可能。

AntOmniEvo 谱系树可视化,展示候选继承关系与验证集分数演变

第二道闸门:val_system_run/ 目录禁区

每个候选的磁盘布局里,训练与验证的运行记录被物理分开存放(docs/system-design.zh-CN.md):

  • system_run/{data_id}/:训练 RunRecord,proposer 分析失败轨迹时可读;
  • val_system_run/{data_id}/:验证 RunRecord,文档明确标注为 proposer 禁区(off-limits)。

proposer 两阶段流程(Phase 1 分析失败运行 → Phase 2 变异落盘)只被喂训练集轨迹,因此它根本看不到任何验证集上的行为,无法针对验证题做"应试优化"。

第三道闸门:两种 proposer 后端的权限控制

AntOmniEvo 内置两种编码 Agent 后端,控制强度不同(antomnievo/proposer/):

  • ClaudeCodeProposer(claude_code_utils.py):以 --dangerously-skip-permissions 运行,依赖提示词中声明的访问规则约束行为,属于"软隔离";
  • PiCodingAgentProposer(pi_coding_agent_utils.py):通过运行时 extension 做硬拦截——block-val-system-run.ts 直接从工具层禁止读取 val_system_run/ 下的内容,enforce-changelog-cli.ts 强制变更必须走 append-changelog CLI。官方文档明确指出:Pi 路线的控制更强。

🔒 实践建议:如果安全要求高,优先选择 Pi 后端;使用 Claude 后端时,需自行审计提示词中的访问声明(详见 docs/when-to-use.md 中的合规提示)。

AntOmniEvo Insights 面板,展示多维度分数对比与候选洞察

沙箱权限审计:动手前必查的 5 项清单

官方文档对"严格合规输出"场景有一条明确提醒:proposer 在沙箱中编辑文件,请自行审计沙箱权限。以下是审计要点:

  1. proposer 的可写范围:Phase 2 变异 Agent 的 cwd 是子候选的 artifact_dir,确认你的可调产物目录与敏感文件(密钥、生产配置)物理隔离;
  2. 验证集可读性:Pi 后端默认加载 block-val-system-run.ts 硬拦截;如自研后端,必须提供等价机制,否则验证集硬隔离只完成了前两道闸门;
  3. 被优化系统自身的沙箱:例如 TerminalBench 场景通过 Harbor 在 Docker 容器中执行任务(terminalbench_optimizer.py 在任务结束后自动清理容器、镜像与网络);DP Text2SQL 场景则由 dp_text2sql_optimizer.py 动态生成 Dockerfile,把执行环境圈进一次性容器;
  4. 预算硬上限:Budget 模型(antomnievo/model/budget.py)提供 max_iterations、max_rollouts、max_tokens、max_elapsed_seconds 四个正交硬上限,任一达到即停止开新槽位、在飞任务排空后退出,相当于资源层面的"熔断器";
  5. 审计日志可追溯性:所有变更以 append-only 的 changelog.jsonl 记录血统,validate-analysis 对分析结果做质量门自检,statistics.json 与 iteration_records.jsonl 留档每次迭代——出问题时可以完整回放进化过程。

AntOmniEvo Stats 面板,展示分数历史、token 用量等运行统计

小结

AntOmniEvo 的安全设计可以概括为一句话:用机制而不是自觉来保证可信。训练/验证集双闸门防过拟合,val_system_run/ 禁区 + Pi extension 硬拦截堵住 proposer 越权,Docker 沙箱 + Budget 硬上限圈住执行边界,append-only changelog 让每一次变异可回放、可审计。理解了这些设计,你既敢让 AI 团队 7×24 小时跑进化,也能清楚知道安全边界画在哪里。

📌 延伸阅读:docs/system-design.zh-CN.md(完整架构与数据布局)、docs/features.zh-CN.md(验证集硬隔离特性说明)、docs/checkpoint-resume.zh-CN.md(断点续跑机制)。

登录后查看全文
AntOmniEvo