BayesianOptimization项目中的二维函数可视化实现

概述

在BayesianOptimization项目中，可视化是理解贝叶斯优化过程的重要工具。虽然官方文档主要展示了1D函数的可视化示例，但实际应用中经常需要处理多维参数空间的优化问题。本文将详细介绍如何在BayesianOptimization项目中实现2D函数的可视化，帮助用户更好地理解优化过程。

二维可视化实现原理

二维函数的可视化与一维情况类似，但需要处理更复杂的网格计算和绘图逻辑。核心思路是：

1. 在参数空间创建网格点
2. 使用高斯过程模型预测这些点的目标值
3. 将预测结果绘制为等高线图或热图
4. 标记已评估点和下一个建议点

具体实现步骤

1. 定义目标函数

首先需要定义一个二维目标函数，例如：

def black_box_function(x, y):
    value = x**3 - (y - 1)**2 - x**2 - x*y
    return max(value, 0)

2. 设置优化器参数

初始化BayesianOptimization优化器，设置参数边界：

pbounds = {'x': (2, 4), 'y': (-3, 3)}
optimizer = BayesianOptimization(
    f=None,
    pbounds=pbounds,
    verbose=2,
    random_state=1
)

3. 实现可视化函数

关键的可视化函数实现如下：

def plot_target_estimation(pbounds, optimizer, next_point, cycle):
    # 创建网格
    num_points = 300
    x = np.linspace(pbounds['x'][0]-0.1, pbounds['x'][1]+0.1, num_points)
    y = np.linspace(pbounds['y'][0]-0.1, pbounds['y'][1]+0.1, num_points)
    xy = np.array([[x_i, y_j] for y_j in y for x_i in x])
    X, Y = np.meshgrid(x, y)
    
    # 创建图形
    fig, axs = plt.subplots(constrained_layout=True, figsize=(4,4))
    
    # 获取优化结果
    res = optimizer.res
    x_ = np.array([r["params"]['x'] for r in res])
    y_ = np.array([r["params"]['y'] for r in res])
    
    # 预测并绘制
    Z_est = optimizer._gp.predict(xy).reshape(num_points, num_points)
    axs.contourf(X, Y, Z_est, cmap=plt.cm.coolwarm)
    axs.set_title(f'Target estimated, cycle n.{cycle+1}')
    axs.scatter(x_, y_, c='red', s=80, edgecolors='black')  # 已评估点
    axs.scatter(next_point['x'], next_point['y'], c='white', s=80, edgecolors='black')  # 建议点
    
    return fig

4. 执行优化循环

将可视化函数集成到优化循环中：

utility = UtilityFunction(kind="ucb", kappa=2.5, xi=0.0)
MaxIterations = 10

for cycle in range(MaxIterations):
    next_point = optimizer.suggest(utility)
    fig = plot_target_estimation(pbounds, optimizer, next_point, cycle)
    fig.savefig(f"Cycle {cycle+1}")
    target = black_box_function(**next_point)
    optimizer.register(params=next_point, target=target)

技术要点解析

1. 网格创建：使用np.linspace在参数边界内创建均匀分布的点，然后通过np.meshgrid生成二维网格。

2. 高斯过程预测：调用optimizer._gp.predict方法获取网格点的预测值，注意需要将结果reshape为与网格相同的形状。

3. 可视化效果：

   • 使用contourf绘制填充等高线图，直观展示预测的目标函数表面
   • 红色点标记已评估的参数点
   • 白色点标记下一个建议评估的点

4. 迭代过程：每次优化迭代后更新图形，可以保存为图片或显示，便于观察优化过程。

实际应用建议

1. 对于更复杂的参数空间，可以调整网格密度(num_points)以平衡精度和计算成本。

2. 考虑使用不同的颜色映射(cmap)来增强可视化效果，例如viridis或plasma。

3. 可以扩展可视化函数，同时显示预测的不确定性(方差)信息。

4. 对于更高维的参数空间，可以考虑降维技术或成对参数的可视化。

通过这种二维可视化方法，用户可以直观地观察贝叶斯优化过程中高斯过程模型对目标函数的估计如何随着评估点的增加而改进，以及优化算法如何选择下一个评估点。这对于理解优化算法行为和调试参数空间非常有帮助。