BayesianOptimization项目中的二维函数可视化实现

概述

在BayesianOptimization项目中，可视化是理解贝叶斯优化过程的重要工具。虽然官方文档主要展示了1D函数的可视化示例，但实际应用中经常需要处理多维参数空间。本文将详细介绍如何实现二维函数的贝叶斯优化可视化。

二维函数可视化原理

与一维情况不同，二维函数的可视化需要处理更复杂的空间关系。核心思想是通过网格采样来构建预测表面，然后使用等高线或热图展示高斯过程模型的预测结果。

实现步骤

1. 定义目标函数

首先需要定义一个二维目标函数，例如：

def black_box_function(x, y):
    value = x**3 - (y - 1)**2 - x**2 - x*y
    return max(value, 0)

2. 设置参数边界

为每个参数定义搜索范围：

pbounds = {'x': (2, 4), 'y': (-3, 3)}

3. 创建可视化函数

关键步骤是创建一个能够绘制二维预测表面的函数：

def plot_target_estimation(pbounds, optimizer, next_point, cycle):
    # 创建网格
    num_points = 300
    x = np.linspace(pbounds['x'][0]-0.1, pbounds['x'][1]+0.1, num_points)
    y = np.linspace(pbounds['y'][0]-0.1, pbounds['y'][1]+0.1, num_points)
    xy = np.array([[x_i, y_j] for y_j in y for x_i in x])
    X, Y = np.meshgrid(x, y)
    
    # 创建图形
    fig, axs = plt.subplots(figsize=(4,4))
    
    # 获取优化结果
    res = optimizer.res
    x_ = np.array([r["params"]['x'] for r in res])
    y_ = np.array([r["params"]['y'] for r in res])
    
    # 预测并绘制表面
    Z_est = optimizer._gp.predict(xy).reshape(num_points, num_points)
    axs.contourf(X, Y, Z_est, cmap=plt.cm.coolwarm)
    axs.set_title(f'Target estimated, cycle n.{cycle+1}')
    
    # 标记已评估点和下一个点
    axs.scatter(x_, y_, c='red', s=80, edgecolors='black')
    axs.scatter(next_point['x'], next_point['y'], c='white', s=80, edgecolors='black')
    
    return fig

4. 优化循环

在优化过程中，每次迭代都调用可视化函数：

for cycle in range(MaxIterations):
    next_point = optimizer.suggest(utility)
    fig = plot_target_estimation(pbounds, optimizer, next_point, cycle)
    fig.savefig(f"Cycle {cycle+1}")
    target = black_box_function(**next_point)
    optimizer.register(params=next_point, target=target)

技术要点

1. 网格创建：使用np.linspace和np.meshgrid创建二维参数网格，用于预测整个参数空间的响应。

2. 高斯过程预测：通过optimizer._gp.predict方法获取模型在整个参数空间的预测值。

3. 可视化技巧：

   • 使用contourf绘制填充等高线图，直观展示预测表面
   • 用红色点标记已评估的点
   • 用白色点标记将要评估的下一个点

4. 迭代保存：每次迭代保存图像，可以后期制作成动画或逐步分析优化过程。

应用场景

这种二维可视化方法特别适用于：

• 理解贝叶斯优化在高维空间的探索-利用平衡
• 分析算法在不同区域的置信度变化
• 教学演示多维优化过程
• 调试自定义目标函数的优化问题

总结

通过扩展一维可视化方法，我们可以有效地展示二维贝叶斯优化过程。关键在于合理构建参数网格，正确调用高斯过程预测方法，以及选择适当的可视化技术来呈现多维数据。这种方法可以推广到更高维度，但需要注意"维度灾难"带来的计算挑战。