sktime项目中的多层级预测评估指标问题解析

在时间序列预测领域，sktime是一个广受欢迎的Python开源工具库。近期在使用过程中，开发者发现了一个关于多层级预测评估指标的重要技术问题，本文将深入分析该问题的本质及其解决方案。

问题背景

sktime提供了强大的预测基准测试功能，允许用户比较不同预测模型的性能。在基准测试过程中，评估指标的选择至关重要。当使用MeanSquaredPercentageError这类评估指标时，用户可以通过设置multilevel="raw_values"参数来获取每个时间序列的单独评估结果，而不是整体评估。

然而，在2025年3月的版本中发现，当在ForecastingBenchmark中使用这一参数时，系统会抛出TypeError: complex() first argument must be a string or a number, not 'DataFrame'错误。这表明指标计算过程中出现了类型不匹配的问题。

技术分析

该问题的核心在于指标计算与数据结构的兼容性。multilevel="raw_values"参数设计用于处理分层时间序列数据，它会返回一个DataFrame而非单一数值。而基准测试框架在处理这类非标量返回值时出现了类型转换问题。

具体表现为：

1. 当使用默认参数时，评估指标返回单一数值，基准测试可以正常处理
2. 当启用multilevel="raw_values"时，返回的是包含各层级评估结果的DataFrame
3. 基准测试框架尝试将DataFrame转换为复杂数值类型，导致类型错误

解决方案

sktime开发团队在后续版本中通过重构ForecastingBenchmark设计解决了这一问题。新版本的主要改进包括：

1. 增强了对多类型返回值的支持
2. 优化了评估指标与基准测试框架的接口
3. 完善了对分层时间序列评估的处理逻辑

用户现在可以安全地使用multilevel="raw_values"参数来获取各时间序列的详细评估结果，而不会遇到类型转换错误。

最佳实践建议

对于需要进行多层级时间序列预测评估的用户，建议：

1. 确保使用最新版本的sktime
2. 对于分层数据，明确指定multilevel参数
3. 检查评估指标的返回值类型是否符合预期
4. 在基准测试中合理组合使用整体评估和分层评估

这一改进使得sktime在处理复杂时间序列预测任务时更加灵活和强大，特别是对于需要细粒度性能分析的应用场景。