PyTorch/Botorch 入门指南：贝叶斯优化实战教程

什么是Botorch？

Botorch是基于PyTorch构建的现代贝叶斯优化库，专为高维参数空间的优化问题而设计。它结合了高斯过程建模和蒙特卡洛采集函数，为研究人员和工程师提供了强大的优化工具。

安装指南

系统要求

在安装Botorch前，请确保满足以下条件：

• Python 3.7或更高版本
• PyTorch 1.9或更高版本
• 推荐使用支持CUDA的GPU以获得最佳性能

安装方法

Botorch提供两种主流安装方式：

1. pip安装（推荐）

pip install botorch

2. conda安装

conda install botorch -c gpytorch -c conda-forge

安装完成后，建议运行简单测试验证安装是否成功：

import botorch
print(botorch.__version__)

核心组件解析

1. 高斯过程建模

高斯过程是Botorch的核心建模工具，用于构建目标函数的概率模型。以下是一个完整的建模示例：

import torch
from botorch.models import SingleTaskGP
from botorch.models.transforms import Normalize, Standardize
from botorch.fit import fit_gpytorch_mll
from gpytorch.mlls import ExactMarginalLogLikelihood

# 准备训练数据（10个2维样本点）
train_X = torch.rand(10, 2, dtype=torch.double) * 2
# 生成对应的输出值（1维）
train_Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True)
train_Y += 0.1 * torch.rand_like(train_Y)  # 添加噪声

# 构建GP模型，包含输入标准化和输出标准化
gp = SingleTaskGP(
    train_X=train_X,
    train_Y=train_Y,
    input_transform=Normalize(d=2),  # 输入维度为2
    outcome_transform=Standardize(m=1),  # 输出维度为1
)

# 定义边际对数似然函数
mll = ExactMarginalLogLikelihood(gp.likelihood, gp)

# 拟合模型
fit_gpytorch_mll(mll)

2. 采集函数

采集函数指导优化过程，决定下一个评估点。Botorch提供多种采集函数：

from botorch.acquisition import LogExpectedImprovement

# 使用对数期望改进（LogEI）采集函数
logNEI = LogExpectedImprovement(model=gp, best_f=train_Y.max())

3. 采集函数优化

优化采集函数获取下一个评估点：

from botorch.optim import optimize_acqf

# 定义搜索边界
bounds = torch.stack([torch.zeros(2), torch.ones(2)]).to(torch.double)

# 优化采集函数
candidate, acq_value = optimize_acqf(
    logNEI, 
    bounds=bounds, 
    q=1,  # 每次获取1个候选点
    num_restarts=5,  # 随机重启次数
    raw_samples=20,  # 初始采样点数
)

进阶学习路径

1. 基础教程：从简单的一维优化问题开始，理解基本概念
2. 多目标优化：学习处理多个相互冲突的目标函数
3. 高维优化：掌握处理高维参数空间的技巧
4. 自定义模型：开发适合特定问题的高斯过程变体

常见问题解答

Q：Botorch适合处理哪些类型的问题？ A：Botorch特别适合解决评估成本高、参数空间复杂的问题，如：

• 超参数优化
• 材料设计
• 化学合成条件优化
• 工程参数调优

Q：如何选择合适的高斯过程核函数？ A：Botorch默认使用Matérn 5/2核，对于大多数问题表现良好。对于更平滑的函数，可考虑使用RBF核；对于周期性数据，可使用周期性核。

Q：采集函数应该如何选择？ A：常见选择策略：

• 期望改进(EI)：平衡探索与开发
• 上置信界(UCB)：强调探索
• 概率改进(PI)：强调开发
• 对于多目标问题，可使用q-多目标EI

性能优化技巧

1. 使用GPU加速计算：确保安装支持CUDA的PyTorch版本
2. 合理设置批量大小：对于并行评估，适当增加q值
3. 调整优化参数：根据问题复杂度调整num_restarts和raw_samples
4. 考虑使用近似推理：对于大规模数据，使用变分推理或随机变分推理

通过本指南，您应该已经掌握了Botorch的基本使用方法。接下来可以通过实践项目深入理解贝叶斯优化的强大能力。