NeuralForecast超参数优化：使用Ray和Optuna自动化调参

NeuralForecast是一个功能强大的Python库，提供统一接口来训练和预测时间序列数据，结合了神经网络方法（如N-BEATS和N-HITS）以及传统统计方法。对于新手用户来说，手动调整超参数往往是一项挑战，而利用Ray和Optuna进行自动化调参可以显著提升模型性能并节省时间。

为什么需要超参数优化？

时间序列预测模型的性能很大程度上依赖于超参数的选择。以NHITS模型为例，其包含多个关键超参数，如学习率、批大小、网络层数等。手动调整这些参数不仅耗时，还可能错过最优组合。

NHITS模型架构示意图，展示了其层次化结构和特征提取过程

自动化超参数优化工具（如Ray和Optuna）能够：

• 自动探索超参数空间
• 基于历史结果智能调整搜索方向
• 并行化调参过程，大幅缩短优化时间
• 为不同模型找到最优参数组合

支持自动调参的NeuralForecast模型

NeuralForecast库中的多个模型都支持使用Ray或Optuna进行超参数优化，包括：

• NHITS：Neural Hierarchical Interpolation for Time Series
• DeepAR：基于自回归循环神经网络的概率预测模型
• TFT：Temporal Fusion Transformer，融合时序和静态特征
• RNN/LSTM/GRU：经典循环神经网络模型
• NBEATS：基于神经网络的时间序列预测模型

这些模型都提供了get_default_config方法，可以轻松设置调参后端：

# 使用Optuna作为调参后端
config = AutoNHITS.get_default_config(h=12, backend='optuna')

# 使用Ray作为调参后端
config = AutoNHITS.get_default_config(h=12, backend='ray')

核心超参数类型与调优策略

NeuralForecast模型的超参数可以分为几类，每种类型需要不同的调优策略：

1. 网络结构参数

这类参数定义了模型的架构，如网络层数、隐藏单元数量等。以NHITS为例：

# NHITS网络结构参数示例
"n_blocks": tune.choice([[1, 1, 1]]),           # 每个堆叠的块数量
"mlp_units": tune.choice([[[512, 512], [512, 512], [512, 512]]]),  # 每个块的MLP单元数
"n_pool_kernel_size": tune.choice([[2, 2, 2], [16, 8, 1]]),  # 池化核大小

2. 优化器参数

学习率是最重要的优化器参数之一，通常使用对数均匀分布进行搜索：

# 学习率调优示例
"learning_rate": tune.loguniform(1e-5, 5e-3),  # 对数均匀分布搜索

3. 正则化参数

正则化参数有助于防止模型过拟合：

# 正则化参数示例
"dropout_prob_theta": tune.choice([0.5]),       # Dropout概率

4. 训练参数

这类参数控制训练过程：

# 训练参数示例
"max_steps": tune.choice([200, 1000]),          # 训练步数
"batch_size": tune.choice([7]),                 # 批大小
"val_check_steps": tune.choice([100]),          # 验证检查间隔

MSE损失函数可视化，良好的超参数选择能显著降低预测误差

使用Optuna进行超参数优化

Optuna是一个高效的超参数优化框架，以其简洁的API和高效的搜索算法而闻名。以下是使用Optuna优化NeuralForecast模型的基本步骤：

1. 安装Optuna

pip install optuna

2. 配置模型和搜索空间

from neuralforecast.models import AutoNHITS

# 获取默认配置，指定Optuna后端
config = AutoNHITS.get_default_config(h=12, backend='optuna')

# 可选：自定义搜索空间
config['learning_rate'] = tune.loguniform(1e-5, 1e-2)

3. 创建模型并运行优化

# 创建AutoNHITS模型，指定Optuna后端和搜索次数
model = AutoNHITS(
    h=12, 
    config=config, 
    backend='optuna', 
    num_samples=50,  # 尝试50组超参数组合
    cpus=4  # 使用4个CPU核心
)

# 训练模型并优化超参数
model.fit(df=train_data)

使用Ray Tune进行分布式超参数优化

Ray Tune是一个强大的分布式超参数优化框架，特别适合大规模超参数搜索。以下是使用Ray Tune的基本步骤：

1. 安装Ray

pip install ray tune

2. 配置分布式搜索

from neuralforecast.models import AutoNHITS

# 获取默认配置，指定Ray后端
config = AutoNHITS.get_default_config(h=12, backend='ray')

# 定义搜索空间
config = {
    "learning_rate": tune.loguniform(1e-5, 5e-3),
    "max_steps": tune.choice([200, 1000]),
    "batch_size": tune.choice([7]),
    "n_pool_kernel_size": tune.choice([[2, 2, 2], [16, 8, 1]]),
    "dropout_prob_theta": tune.choice([0.5]),
    "activation": tune.choice(['ReLU']),
    "n_blocks": tune.choice([[1, 1, 1]]),
    "mlp_units": tune.choice([[[512, 512], [512, 512], [512, 512]]]),
    "interpolation_mode": tune.choice(['linear']),
    "val_check_steps": tune.choice([100]),
    "random_seed": tune.randint(1, 10),
}

3. 执行分布式优化

# 创建AutoNHITS模型，指定Ray后端
model = AutoNHITS(
    h=12, 
    config=config, 
    backend='ray', 
    num_samples=50,  # 尝试50组超参数组合
    cpus=4  # 每个试验使用4个CPU核心
)

# 训练模型并优化超参数
model.fit(df=train_data)

最佳实践与技巧

1. 合理设置搜索空间

• 学习率通常在1e-5到1e-2之间搜索
• 批大小一般是2的幂次（如16、32、64）
• 网络深度和宽度应根据数据复杂度调整

2. 控制计算资源

• 根据可用资源调整num_samples参数
• 使用早停策略减少无效训练：early_stop_patience_steps
• 合理设置val_check_steps，平衡评估频率和训练效率

3. 分析调参结果

调参完成后，可以分析结果找到最佳超参数组合：

# 获取最佳超参数
best_config = model.get_best_config()
print("最佳超参数组合:", best_config)

# 使用最佳超参数创建最终模型
final_model = NHITS(h=12, **best_config)
final_model.fit(df=train_data)

NeuralForecast工作流示意图，展示了数据准备、模型训练和预测的完整流程

总结

NeuralForecast结合Ray和Optuna提供了强大的超参数优化能力，使新手用户也能轻松获得高性能的时间序列预测模型。通过自动化调参，您可以：

• 节省手动调整超参数的时间和精力
• 发现人工难以找到的最优参数组合
• 显著提升预测准确性
• 针对不同数据集快速优化模型

无论您是时间序列预测的新手还是有经验的用户，NeuralForecast的自动调参功能都能帮助您更高效地构建和优化预测模型。

要开始使用NeuralForecast，只需克隆仓库并按照官方文档进行安装：

git clone https://gitcode.com/gh_mirrors/ne/neuralforecast
cd neuralforecast
pip install .

通过合理利用NeuralForecast的超参数优化功能，您的时间序列预测模型性能将得到显著提升！