贪心爬山不够用?详解evo树搜索frontier策略:argmax、softmax与pareto_per_task怎么选
贪心爬山不够用?详解evo树搜索frontier策略:argmax、softmax与pareto_per_task怎么选
[
] 先说结论:evo 把代码库变成自动研究(autoresearch)循环——先发现该测什么、给 benchmark 埋点,然后用树搜索(tree search)并行跑 subagent。树搜索每轮要回答一个问题:下一轮从哪些节点(frontier)分叉?evo 内置 5 种 frontier 策略:argmax、top_k、epsilon_greedy、softmax、pareto_per_task。本文帮你理解每种策略的原理、参数和适用场景,并给出选择建议。
为什么"贪心爬山"会卡在局部最优?
经典的 autoresearch 循环是纯爬山:改一版 → 跑分 → 涨了保留、跌了回滚 → 只沿着当前最优分支继续。问题在于:一旦当前分支陷入局部最优,其他有潜力的方向再也没机会冒头。
evo 的改进是"树搜索 + 并行 subagent":
- 任何已提交(committed)的节点都能继续分叉;
- 每轮启动多个 subagent,各自在独立 git worktree 里做假设、跑实验;
- 失败轨迹、注释、被丢弃的假设对每个 agent 可见。
而 evo frontier 命令就是这棵树的"分叉调度器":它返回一组按策略排好序的 committed 叶子节点,供编排器选择分叉起点。用哪种策略选出这些节点,决定了 evo 是在" exploitation(挖深)"还是 "exploration(拓新)"。
一张表看懂 5 种 frontier 策略
evo 的策略注册表定义在 frontier_strategies.py,这也是 CLI 校验器、dashboard 选择器共同读取的唯一事实来源:
| 策略 kind | 一句话原理 | 关键参数 | 随机性 | 默认? |
|---|---|---|---|---|
argmax |
只返回得分最高的单个节点,纯 exploitation | 无 | 无 | 否 |
top_k |
按总分返回前 K 个节点 | k(默认 5,1–50) |
无 | 否 |
epsilon_greedy |
概率 1−ε 取 argmax,概率 ε 取随机节点 | epsilon(默认 0.1) |
有 | 否 |
softmax |
按 exp(score / T) 概率无放回抽样 K 个 |
temperature(默认 0.5)、k(默认 5) |
有 | 否 |
pareto_per_task |
保留"在至少一个 task 上最优"的专家节点,剔除被支配者,再按赢面数量加权抽样 | k(默认 5)、task_floor(默认 0.0) |
有 | ✅ 是 |
默认策略配置见 DEFAULT_FRONTIER_STRATEGY:{"kind": "pareto_per_task", "params": {"k": 5, "task_floor": 0.0}}。
上图是 evo 的 dashboard:顶部指标卡里就有一个 FRONTIER 5(open branches),展示当前有多少可分叉的开放分支——frontier 策略就是决定这些分支如何被挑选的机制。
argmax:纯exploitation,最快也最容易卡死
实现只有几行(_pick_argmax):按分数排序,取第一名。
- 优点:确定性强、零开销,适合你确信"当前最优分支方向正确"时把优势打穿。
- 缺点:一旦该分支到达局部最优(plateau),其他分支永远排不上场。官方描述里直言:"Risk: plateaus fast if that branch hits a local optimum, since nothing else gets a turn."
一个容易被忽略的细节:argmax 支持 min 指标——当 benchmark 是"越低越好"(如耗时)时,分数方向会自动翻转(_score_of),最低分反而胜出。
top_k 是 argmax 的温和扩展:K=1 时等价于 argmax,K 通常设为当轮 subagent 数量,让一轮里的多个 subagent 从 K 个不同父节点分叉,而不是全挤在同一个父节点上。
softmax:温度旋钮,在 argmax 和纯随机之间平滑调节
softmax 策略(_pick_softmax)是无放回的加权抽样,每个节点的选中概率正比于 exp(score / T),temperature(温度 T)就是探索/利用的连续旋钮:
- T → 0(如 0.05):概率质量集中在最高分上,行为逼近 argmax;
- T 很大(如 2.0):分布趋平,接近均匀随机;
- T = 0.5:官方推荐的中等探索默认值。
实现上有两个工程亮点,值得了解:
- 数值稳定性:分数先减去最大值、全程在 log 空间计算。否则当分数差距超过约
745 × T时exp()会下溢为 0,尾部节点会被"静默消失"而不是排在最后——这在分数单位是毫秒、tokens/s 的真实 benchmark 里很容易触发(对应测试 test_wide_score_gap_still_returns_k)。 - 可复现:每次随机抽样使用的 rng seed 都会写入
.evo/infra_log.json(append_frontier_log),你可以用同一个 seed 完整回放当时的选择。
pareto_per_task:默认策略,保留"偏科生",干掉"全能差生"
这是 evo 默认的策略,也是三种主角策略中最有特色的一种——它源自论文 GEPA 的候选选择算法(源码注释见 frontier_strategies.py)。核心洞察:总分(aggregate score)会掩盖偏科。节点 A 在任务 1 上 0.90、任务 2 上 0.50,总分未必最高,但它在任务 1 上就是最优——这种"专家"值得保留。
算法分四步(_pick_pareto_per_task):
- 逐 task 找冠军:对每个任务,找出所有 frontier 候选中的最高分;
- 收集冠军候选:在至少一个任务上并列最优的节点进入候选池;
- 支配剪枝(set-cover dominance):如果某节点赢下的每个"前沿"都被其他存活节点也赢下了,就剔除它——总分区分数最低的先被检查(_remove_dominated_set_cover);
- 加权抽样:从存活者中按"各赢了多少个任务"作为权重,无放回抽出 K 个。
几个实用细节:
- 尊重 direction:benchmark 可以在
tasks_meta里声明每个任务的方向,例如latency_ms标direction: "min",则延迟越低越优。没有元数据时回退到工作区级--metric。 - task_floor 参数:对于 direction=max 的任务,若所有候选在该任务上的最高分 ≤
task_floor,就跳过该任务。这防止"所有节点都在任务 T 上挂了(全是 0 分)"时,全体并列零分污染 Pareto 前沿。min 方向的任务则永远参与——"没有谁更快"本身就是有效的 Pareto 信号。 - 应对 benchmark 漂移:只取所有候选都报告过的任务交集(intersection),某个节点没报的任务不会被算成"它没赢"。
- 兜底:如果没有可比较的任务数据,自动回退为 argmax(测试示例)。
用官方测试里的例子(test_preserves_specialists_drops_dominated):A 强在 t1、B 强在 t2、D 强在 t3,而 C 在每个任务上都不如 A——最终 A、B、D 作为专家保留,C 被支配剪掉。
怎么选?一份场景化速查清单
| 你的场景 | 推荐策略 | 理由 |
|---|---|---|
| 只优化单一指标,方向明确,想快速收敛 | argmax / top_k |
无随机性,把最优分支打穿 |
| 多指标 benchmark(accuracy + latency 等) | pareto_per_task(默认) |
保留各任务上的专家,避免总分掩盖偏科 |
| 长期运行、怀疑陷入局部最优 | softmax(T≈0.5–1.0) |
连续可调的探索强度 |
| 想保持确定性主路径 + 少量随机扰动 | epsilon_greedy(ε=0.05–0.2) |
经典多臂老虎机式探索,实现最简单 |
| 多个 subagent 并行分叉 | top_k 或把 k 设为 subagent 数 |
让一轮的 N 个 agent 从不同父节点出发 |
如何配置 frontier 策略?
有三种方式,互不冲突:
1️⃣ CLI 持久化配置(写入 .evo/config.json 的 frontier_strategy 字段):
evo config set frontier-strategy epsilon_greedy
evo config set frontier-strategy '{"kind": "top_k", "params": {"k": 4}}'
evo config get frontier-strategy --json
2️⃣ 单次调用临时覆盖:
evo frontier # 用已配置策略
evo frontier --strategy softmax --params '{"k": 3, "temperature": 0.3}'
evo frontier --seed 42 # 钉住 rng,结果可复现
3️⃣ Dashboard 可视化切换:evo 自带 dashboard(见上文截图),可直接在界面上挑选策略,修改同样落到 frontier_strategy 配置。dashboard 到配置的完整链路有专门测试覆盖:test_dashboard_frontier_strategy.py。
配置语法速查表见 cli-quick-reference.md。
源码导读:延伸阅读路径
- 策略注册表 + 全部 picker 实现:plugins/evo/src/evo/frontier_strategies.py
evo frontier命令入口:plugins/evo/src/evo/cli.py- 策略单元测试(含 softmax 数值边界、Pareto 支配剪枝用例):tests/unit/test_frontier_strategies.py
- 项目 README 与"树搜索 vs 贪心爬山"背景介绍:README.md
小结
argmax/top_k:确定性 exploitation,适合单一指标、快速收敛;softmax/epsilon_greedy:加入随机性的探索旋钮,前者连续可调、后者开关式扰动,两者 seed 均落盘可回放;pareto_per_task:evo 的默认选择,用 Pareto 前沿保住偏科专家、剪掉全能差生,多指标 benchmark 下通常是最稳的起点。
理解" exploitation 与 exploration 的权衡",你就理解了 evo 树搜索的调度核心。先从默认策略跑起来,再看 dashboard 上 FRONTIER 指标的走向,按需调 temperature、epsilon 或 k——这棵实验树会自己替你找到该挖深还是该拓新的平衡点。
