Pandas数据处理实战：高效技巧与实用案例解析

前言

Pandas作为Python数据分析的核心库，提供了丰富的数据处理功能。本文将深入探讨Pandas中的各种实用技巧和高效数据处理方法，通过具体案例帮助读者掌握Pandas的高级用法。

条件逻辑处理技巧

if-then条件赋值

在数据分析中，我们经常需要根据某列的条件值来修改其他列的值。Pandas提供了简洁高效的实现方式：

df = pd.DataFrame({
    'AAA': [4, 5, 6, 7],
    'BBB': [10, 20, 30, 40],
    'CCC': [100, 50, -30, -50]
})

# 单条件单列赋值
df.loc[df.AAA >= 5, 'BBB'] = -1

# 多条件多列赋值
df.loc[df.AAA >= 5, ['BBB', 'CCC']] = 555

使用where方法

where方法可以保留满足条件的值，不满足条件的替换为指定值：

df_mask = pd.DataFrame({
    'AAA': [True] * 4,
    'BBB': [False] * 4,
    'CCC': [True, False] * 2
})
df.where(df_mask, -1000)

numpy.where实现条件逻辑

结合numpy的where函数可以更灵活地实现条件逻辑：

df['logic'] = np.where(df['AAA'] > 5, 'high', 'low')

数据筛选与分割

基于条件分割DataFrame

# 分割为两部分
df[df.AAA <= 5]  # 条件为True的部分
df[df.AAA > 5]   # 条件为False的部分

多条件组合筛选

# 与条件
df.loc[(df['BBB'] < 25) & (df['CCC'] >= -40), 'AAA']

# 或条件
df.loc[(df['BBB'] > 25) | (df['CCC'] >= -40), 'AAA']

动态条件构建

当需要组合多个条件时，可以使用reduce函数动态构建：

import functools

Crit1 = df.AAA <= 5.5
Crit2 = df.BBB == 10.0
Crit3 = df.CCC > -40.0

CritList = [Crit1, Crit2, Crit3]
AllCrit = functools.reduce(lambda x, y: x & y, CritList)
df[AllCrit]

索引与切片技巧

标签与位置索引

Pandas提供了两种索引方式：

• iloc：基于位置的索引
• loc：基于标签的索引

df = pd.DataFrame({
    'AAA': [4, 5, 6, 7],
    'BBB': [10, 20, 30, 40],
    'CCC': [100, 50, -30, -50]
}, index=['foo', 'bar', 'boo', 'kar'])

# 位置索引
df.iloc[0:3]  # 不包含结束位置

# 标签索引
df.loc['bar':'kar']  # 包含结束标签

多级索引(MultiIndex)操作

多级索引是处理高维数据的强大工具：

# 创建多级索引
cols = pd.MultiIndex.from_tuples([(x, y) for x in ['A', 'B', 'C'] for y in ['O', 'I']])
df = pd.DataFrame(np.random.randn(2, 6), index=['n', 'm'], columns=cols)

# 按级别广播运算
df = df.div(df['C'], level=1)

# 使用xs方法切片
df.xs('BB', level=0, axis=0)  # 第一级索引
df.xs('six', level=1, axis=0) # 第二级索引

分组聚合高级技巧

分组后保留其他列

df = pd.DataFrame({
    'AAA': [1, 1, 1, 2, 2, 2, 3, 3],
    'BBB': [2, 1, 3, 4, 5, 1, 2, 3]
})

# 方法1：使用idxmin保留完整行
df.loc[df.groupby("AAA")["BBB"].idxmin()]

# 方法2：排序后取每组第一条
df.sort_values(by="BBB").groupby("AAA", as_index=False).first()

自定义聚合函数

def GrowUp(x):
    avg_weight = sum(x[x['size'] == 'S'].weight * 1.5)
    avg_weight += sum(x[x['size'] == 'M'].weight * 1.25)
    avg_weight += sum(x[x['size'] == 'L'].weight)
    avg_weight /= len(x)
    return pd.Series(['L', avg_weight, True], index=['size', 'weight', 'adult'])

df.groupby('animal').apply(GrowUp)

分组替换值

df = pd.DataFrame({'A': [1, 1, 2, 2], 'B': [1, -1, 1, 2]})
gb = df.groupby('A')

def replace(g):
    mask = g < 0
    return g.where(mask, g[~mask].mean())

gb.transform(replace)

缺失数据处理

反向填充时间序列

df = pd.DataFrame(np.random.randn(6, 1),
                 index=pd.date_range('2013-08-01', periods=6, freq='B'),
                 columns=list('A'))
df.loc[df.index[3], 'A'] = np.nan

# 反向填充
df.reindex(df.index[::-1]).ffill()

总结

本文介绍了Pandas中各种高效的数据处理技巧，包括条件逻辑处理、数据筛选分割、索引切片、分组聚合以及缺失值处理等。掌握这些技巧可以显著提高数据分析的效率和代码的可读性。实际应用中，应根据具体场景选择最合适的方法，灵活组合各种操作来完成复杂的数据处理任务。