多目标优化别只会加权求和:用Ax画出你的帕累托前沿

原创2026-10-11 19:53:511,916 阅读
文章标签:人工智能AI AgentAgent 沙箱Agent 编排云原生容器编排任务调度CLI

多目标优化别只会加权求和:用Ax画出你的帕累托前沿

真实世界的参数调优很少只有一个目标:推荐系统既要点击率也要转化率,3D 打印既要强度也要低重量,模型既要精度也要低延迟。传统做法是把多个目标加权求和成一个数再交给优化器,但"权重怎么定"往往就成了新一轮拍脑袋——而且一组权重只换来一个点,你永远看不到"如果我愿意牺牲一点精度,延迟能降多少"的完整图景,遇到非凸的帕累托前沿时甚至根本找不到折中解。

本文以 Meta 开源的 Ax 自适应实验平台为主线,从多目标优化配置(MultiObjectiveOptimizationConfig)讲起,完整走一遍帕累托前沿的求解与解读,再落到并行坐标图、等高线图两类可视化实战,全程给出可照抄的代码。文章末尾还会顺带帮你区分一个容易踩坑的同名项目——Google 开源的 AX 编排运行时,就在本仓库。

为什么"加权求和"会骗你

加权求和把多目标问题压成单目标:

f(x)=w1f1(x)+w2f2(x)+⋯+wkfk(x)f(x) = w_1 f_1(x) + w_2 f_2(x) + \cdots + w_k f_k(x)

它有三个结构性的缺陷:

  1. 权重先验难获取。w1:w2 究竟该是 7:3 还是 3:7,取决于你对两个目标相对重要性的判断,而这正是实验前最不确定的部分;
  2. 一组权重只输出一个点。你扫 100 组权重,得到的是一条"单点序列",无法直接看出目标间的权衡曲线;
  3. 非凸前沿会漏解。当帕累托前沿在目标空间中是凹形(non-convex)时,无论怎么调权重,加权求和的标量化方法都无法覆盖凹区间内的折中解——这是多目标优化的经典理论结论,不是调参技巧能绕过的。

正确的姿势是反过来:直接求解整条帕累托前沿——一组"互不支配"的候选解,任何一个解想在一个目标上更好,就必须在另一个目标上付出代价;然后把"选哪个点"这个业务决策交还给人类。难点在于:多目标黑盒优化的每次评估都昂贵(训练一次模型、打一次 A/B、烧一次炉子),样本数极其有限。这就需要一个能"省着花预算"的优化器。

认识 Ax:为"实验次数受限"而生的自适应实验平台

Ax 是 Meta 开源的自适应实验平台,官方定位是"帮助你在评估昂贵、次数受限的问题上高效找到最优配置",典型场景包括机器学习超参调优、A/B 测试、高成本仿真,以及材料科学、化学分子发现这类需要物理实验的领域。

它的核心引擎是贝叶斯优化,实现基于 BoTorch/PyTorch:用高斯过程(Gaussian Process)做代理模型,先拟合已观测样本,给出未观测参数点上的预测均值与不确定性;再用采集函数(acquisition function)衡量"观测某个点值不值得",支持最常用的 Expected Improvement(EI)、Probability of Improvement(PI)、Upper Confidence Bound(UCB)。EI 的解析形式是 EI(x) = E[max(f(x) − f*, 0)],天然平衡了探索(不确定性高的区域)与利用(接近当前最优的区域)。相比网格搜索,贝叶斯优化能以少得多的评估次数逼近最优,这正是它适合昂贵黑盒实验的原因。

Ax 的另一层省心之处在于策略编排:你不需要手写"先用随机采样铺底、再切贝叶斯"的流程。官方日志里可以看到它自动选择了 Center+Sobol+MBM:fast 的生成策略——先以搜索空间中心点和 Sobol 序列做初始化采样,满足 MinTrials 条件后自动过渡到 MBM(基于 BoTorch 的贝叶斯节点)。安装只需一条命令:

pip3 install ax-platform

MultiObjectiveOptimizationConfig:把"多个目标"正式写进配置

Ax 对多目标的支持分两个 API 世代。在经典 API 中,多目标配置由 MultiObjectiveOptimizationConfig 承载:多个 Objective(每个由 metric 指标与是否最小化的标志构成)打包成 MultiObjective,再配合 outcome_constraints(结果约束)与 tracking_metrics(只记录不优化的跟踪指标),组成一份完整的优化配置。新版 Client API 把它浓缩成了 configure_optimization 的一行字符串声明。

先定义搜索空间,支持连续、离散、枚举参数混合:

from ax.api.client import Client
from ax.api.configs import RangeParameterConfig, ChoiceParameterConfig

client = Client()

client.configure_experiment(
    name="3d_print_strength_experiment",
    parameters=[
        RangeParameterConfig(name="infill_density", parameter_type="float", bounds=(0, 100)),
        RangeParameterConfig(name="layer_height", parameter_type="float", bounds=(0.1, 0.4)),
        ChoiceParameterConfig(
            name="infill_type",
            parameter_type="str",
            values=["honeycomb", "gyroid", "lines", "rectilinear"],
        ),
    ],
)

然后是本次文章的主角——多目标优化配置。目标默认是最大化,用 - 前缀表示最小化,多个目标用逗号分隔;同时可以用 outcome_constraints 表达硬约束(语法是 "指标 <= 上限"):

# 最大化 compressive_strength,最小化 weight,且 weight 不得超过 10
client.configure_optimization(
    objectives="compressive_strength, -weight",
    outcome_constraints=["weight <= 10"],
)

配置时有两条来自官方文档的提醒值得记住:

  • 目标数量不宜过多。多目标虽然"能处理",但目标一多,优化性能会下降、结果也更难解读,官方建议保持在一个较小的数目;
  • 约束别收得太死。约束过紧会让可行域接近空集,前沿上的点收益极差——这类问题在后续可视化里一眼就能看出来(见下文"约束可行性"部分)。

帕累托前沿的求解与解读

求解循环:ask-tell

配置完成后,Ax 进入"你问它答"的循环:get_next_trials 问它要下一组参数(ask),实验者评估后 complete_trial 把结果告诉它(tell)。max_trials 大于 1 时可并行建议多组参数,适合实验室有多台设备同时开工的场景;已经手工做过几轮实验的,还可以用 attach_trial 把历史数据先灌进去,让代理模型从既有样本起步:

# 已有的手工实验数据,先喂给 Ax
for parameters, data in preexisting_trials:
    trial_index = client.attach_trial(parameters=parameters)
    client.complete_trial(trial_index=trial_index, raw_data=data)

# ask-tell 循环:最多并行要 3 组参数
trials = client.get_next_trials(max_trials=3)
for trial_index, parameters in trials.items():
    client.complete_trial(trial_index=trial_index, raw_data=evaluate(**parameters))

取出前沿

实验收敛后,一行调用即可拿到帕累托前沿——每个元素是一个四元组,包含参数、各目标取值、最近一次跑出该点的 trial 序号和 arm 名:

frontier = client.get_pareto_frontier()
for parameters, metrics, trial_index, arm_name in frontier:
    print(parameters, metrics, trial_index, arm_name)

一个真实案例:3D 打印强度 vs 重量

官方材料科学教程演示了这样一个场景:最大化打印件的抗压强度 compressive_strength,同时约束重量 weight <= 10。参数是填充密度 infill_density、层高 layer_height、填充类型 infill_type(honeycomb/gyroid/lines/rectilinear 四选一)。整个实验只跑了 15 轮(trial 0–14),贝叶斯阶段(MBM 节点)就开始系统性逼近前沿:

  • 基线 arm(首轮)强度仅 1.74;
  • 最优 COMPLETED trial 强度达到 20.00,相对基线提升 1049.43%;
  • 最终建议 infill_density=33.57, layer_height=0.24, infill_type=honeycomb。

值得强调的是"最优不唯一"这件事:前沿上的每个点都满足"改一个目标必然牺牲另一个",比如高密度 honeycomb 方案强度高但重,低密度 rectilinear 方案轻但弱——到底选哪个,取决于你的业务里"强度"和"重量"哪个更值钱。get_best_parameterization() 给出的只是一个按当前配置语义挑选的参考点,真正的决策空间在前沿本身。

另外,多目标实验还常常伴随可行性判断:一个点指标再好,如果违反 outcome_constraints 就是不可行的。Ax 的分析卡片里有"Predicted Probability of Feasibility"(约束满足概率),帮你在"收益"和"可行性"之间做权衡,这也是解读前沿时容易忽略的一环。

并行坐标与等高线可视化实战

求解完前沿,下一步是让人看懂它。Ax 的 compute_analyses(display=True) 会自动挑选并渲染一组分析卡片,其中三张是解读多目标结果的主力:

  • Scatter Plot(散点图):把每个 trial 映射到两个目标的坐标平面上,帕累托前沿就是左上/右下角那条"边界线",权衡关系一目了然;
  • Contour Plot(等高线图):固定其余参数在最佳 arm 的取值,展示两个参数对单个目标的联合影响,等高线密的方向就是"梯度陡、参数敏感"的方向,能直接圈出最优参数区域;
  • Slice Plot(切片图):只变化一个参数、其余固定,看单参数效应及其置信区间,适合做敏感性定性判断。
cards = client.compute_analyses(display=True)

教程里这套分析的模型质量检验也值得留意:交叉验证(leave-one-out)对两个指标的 R² 分别达到 0.88(compressive_strength) 和 0.92(weight),说明代理模型对未观测点有不错的预测力——交叉验证差的指标,前沿解读时要打折扣。Sensitivity Analysis(基于 Sobol 指标的方差敏感性分析)则告诉你在 infill_density、layer_height、infill_type 中,哪个参数对目标影响最大。

并行坐标图则是高维多目标场景的主力。散点图最多画两个目标,但当你同时有 3 个以上目标、再加上参数维度时,二维平面就放不下了。并行坐标把每个维度画成一条垂直轴,每个 trial 是一条横穿的折线,目标轴之间折线的交叉与聚拢直接暴露"此消彼长"的结构:想同时优化延迟和成本,就看这两根轴之间有没有"此起彼伏"的折线簇。结合前沿标记(frontier 上的点加粗高亮),你可以在一张图里同时审视参数取值与多目标表现,这是加权求和完全给不了的信息量。

别把两个 Ax 搞混:同名生态

写这篇文章时务必提醒一句:社区里搜"Ax"会同时命中好几个同名项目,其中最容易混淆的是本文主角与另一个同名开源项目。

Meta Ax Google AX(本仓库)
形态 Python 自适应实验/贝叶斯优化平台 Go 编写的 Agent 编排运行时
解决什么 昂贵黑盒实验的参数寻优、帕累托前沿 在集群中以声明式方式大规模运行 autonomous agent 任务
核心抽象 Experiment / Trial / Arm / Objective Task / Workspace / Model
交互方式 Python Client(ask-tell) kubectl 风格的 CLI:ax apply / ax get / ax watch / ax ssh

Google 的 AX 定位是"high-throughput, declarative orchestrator to run billions of autonomous agent workloads in a cluster",用 ax.io/v1alpha1 清单声明任务,状态存放在 Redis、直接与 Agent Substrate 调和(见 DESIGN.md),一份最小的 Task 清单可以简单到 examples/task.yaml 那样:声明镜像、环境变量、资源配额和挂载的 workspace。项目 README 也明确标注当前处于 heavy development 阶段(见 README.md)。两者名字几乎相同、生态完全不同,引用资料时先看清是哪一个,否则很容易张冠李戴。

小结

多目标调优的正确打开方式不是先拍权重再跑单目标,而是直接求解帕累托前沿、把取舍决策留给人。Ax 的价值在于把这件事的成本降到了"几十次实验"的量级:MultiObjectiveOptimizationConfig(或新版 configure_optimization(objectives=...))一行声明多目标与约束,贝叶斯优化引擎自动完成探索与利用的平衡,get_pareto_frontier() 输出前沿,compute_analyses() 用散点、等高线、切片、并行坐标图把前沿讲清楚。加权求和没有错,它只是把"目标间如何权衡"这个本该由人回答的问题,提前交给了一个拍脑袋的常数。

登录后查看全文
ax