Pandas中多级索引列乘法操作的Bug分析

在Pandas数据处理过程中，我们经常会遇到需要对多级索引(MultiIndex)数据进行运算的情况。最近在使用Pandas 2.2.3版本时，发现了一个关于多级索引列乘法操作的Bug，这个Bug在最新版本中依然存在。

问题现象

当DataFrame具有多级列索引时，使用.mul()方法进行乘法运算会出现意外结果。具体表现为：

1. 对多级列索引的DataFrame进行乘法运算时，结果会变成NaN值
2. 同样的乘法运算如果对多级行索引的DataFrame进行，则能正常工作

问题复现

让我们通过一个具体例子来说明这个问题。首先创建一个具有多级列索引的DataFrame：

data = pd.DataFrame(
    {
        "state": (["vic", "nsw", "tas"] * 3 + ['vic'])*2,
        "colour": ['red'] * 10 + ['blue'] * 10,
        "month": ['mar', 'sep'] * 10,
        "year": [2020, 2020, 2020, 2021, 2021, 2021, 2022, 2022, 2022, 2023] * 2,
        "value": range(20),
    }
).set_index(['state','colour','year', 'month']).unstack(['state','year','month'])['value']

然后创建一个用于乘法的scaler Series：

scaler = pd.DataFrame(
    [
        {"year": 2020, "month": "mar", "scale": 0.5},
        {"year": 2020, "month": "sep", "scale": 0.5},
        {"year": 2021, "month": "mar", "scale": 0.5},
        {"year": 2021, "month": "sep", "scale": 0.5},
        {"year": 2022, "month": "mar", "scale": 0.5},
        {"year": 2022, "month": "sep", "scale": 0.5},
        {"year": 2023, "month": "mar", "scale": 0.5},
        {"year": 2023, "month": "sep", "scale": 0.5},
    ]
).set_index(['year','month'])['scale']

当尝试对多级列索引的DataFrame进行乘法运算时：

mul_on_cols = data.mul(scaler, axis = 1)  # 结果全为NaN

而如果对转置后的DataFrame(即多级行索引)进行乘法运算：

mul_on_index = data.T.mul(scaler, axis = 0).T  # 能正确计算

问题原因

经过分析，这个问题源于Pandas内部在处理多级索引对齐时的逻辑缺陷。具体来说：

1. 在.mul()方法内部，会调用.reindex()方法来对齐索引
2. 当处理多级列索引时，.reindex()方法无法正确处理部分级别不同的MultiIndex
3. 正确的做法应该是使用._reindex_indexer()方法，因为它已经包含了正确的索引对齐信息

解决方案

目前官方尚未发布修复版本，但我们可以通过以下临时解决方案：

1. 将多级列索引转换为行索引后再进行运算(如示例中的转置操作)
2. 使用.align()方法先对齐数据再进行运算：

aligned_data, aligned_scaler = data.align(scaler, axis=1)
result = aligned_data * aligned_scaler

3. 将多级索引展平为单级索引后再进行运算

总结

这个Bug揭示了Pandas在处理复杂数据结构时可能存在的边界情况。对于数据科学家和工程师来说，理解这类问题的本质有助于在遇到类似情况时快速诊断和解决。建议在使用多级索引进行复杂运算时：

1. 始终检查运算结果的形状和值是否符合预期
2. 考虑使用更简单的数据结构或分步操作来确保正确性
3. 关注Pandas的版本更新，及时获取Bug修复

随着Pandas社区的持续维护，这类问题有望在未来的版本中得到彻底解决。