BoTorch混合优化器对类别型特征的支持扩展

在贝叶斯优化领域，处理混合型输入空间(同时包含连续型和离散型变量)一直是一个具有挑战性的问题。BoTorch作为PyTorch生态中的贝叶斯优化库，近期通过optimize_acqf_mixed_alternating函数实现了对混合空间的交替优化支持。然而，该功能目前尚未完全支持类别型(categorical)特征，这限制了其在更广泛场景下的应用。

混合优化问题背景

混合优化问题在实际应用中十分常见，例如：

• 药物发现中同时优化分子结构(离散)和反应条件(连续)
• 硬件设计中同时选择组件类型(类别)和调整参数(连续)
• 算法调优中同时选择算法类型(类别)和调整超参数(连续)

传统的贝叶斯优化方法主要针对连续空间设计，而混合空间的优化需要特殊处理。BoTorch现有的optimize_acqf_mixed_alternating函数采用交替优化策略：

1. 固定离散变量，优化连续变量
2. 固定连续变量，优化离散变量

类别型特征的挑战

类别型特征与普通离散特征不同，它们没有自然的顺序关系。例如：

• 颜色选择：红、绿、蓝之间没有数值上的大小关系
• 算法选择：随机森林、SVM、神经网络之间没有内在的排序

当前的实现将离散变量视为有序数值，这在处理真正的类别型特征时会导致次优结果，因为：

1. 人为强加的序关系可能误导优化方向
2. 邻近点定义不合理(基于数值距离而非类别差异)

技术实现方案

扩展后的优化器采用以下方法处理类别型特征：

离散优化阶段改进：

• 对于类别型特征，定义1-Hamming距离邻域：两个点被认为是邻居如果它们只有一个类别特征不同
• 在候选生成时，枚举所有可能的单类别变化组合
• 保持连续部分不变，仅扰动类别变量

算法优势：

1. 保持类别特征的语义完整性，不引入虚假序关系
2. 搜索效率高，避免完全枚举所有类别组合
3. 与现有框架无缝集成，保持交替优化的整体结构

应用场景与性能考虑

这种扩展特别适合以下场景：

• 高维类别空间(如25个5类别变量，组合爆炸)
• 类别与连续变量存在复杂交互的情况
• 评估成本高的场景，需要高效搜索

性能方面，该方法：

• 避免了完全枚举的高计算成本
• 通过局部搜索平衡探索与开发
• 可与其他改进(如并行评估)结合使用

实现细节

核心实现涉及：

1. 识别输入空间中的类别型特征
2. 修改邻域生成逻辑，区分数值离散和真正类别
3. 保持连续优化部分不变
4. 确保与现有API的兼容性

该扩展已在最新版本中合并，为BoTorch用户提供了更完整的混合空间优化支持，特别是在处理真实世界复杂问题时更加灵活和强大。