Pandas分类数据类型(Categorical)完全指南

什么是分类数据？

分类数据(Categorical Data)是pandas中一种特殊的数据类型，用于表示统计学中的分类变量。这类变量具有有限且通常固定的可能值（称为类别或水平）。典型例子包括：

• 性别（男/女）
• 血型（A/B/AB/O）
• 教育程度（小学/中学/大学）
• 产品评级（优/良/中/差）

与普通字符串或数值类型不同，分类数据具有以下特点：

1. 类别数量固定且有限
2. 可能具有内在顺序（如评级从优到差）
3. 不支持数值运算（加减乘除等）
4. 内存效率更高（特别当类别远少于数据量时）

为什么使用分类数据？

使用分类数据类型主要有三大优势：

1. 内存效率：当字符串列只有少量不同值时，转换为分类类型可显著减少内存使用
2. 逻辑排序：可以定义与字母顺序不同的逻辑排序（如"优" > "良" > "中" > "差"）
3. 语义明确：向其他库明确指示该列应作为分类变量处理，便于使用适当的统计方法或图表类型

创建分类数据

创建分类Series

有几种常见方式可以创建分类Series：

# 方法1：构造时指定dtype
s1 = pd.Series(["a", "b", "c", "a"], dtype="category")

# 方法2：转换现有Series
s2 = pd.Series(["a", "b", "c", "a"])
s2_cat = s2.astype('category')

# 方法3：使用pd.cut分箱
df = pd.DataFrame({'value': np.random.randint(0, 100, 20)})
df['group'] = pd.cut(df.value, bins=range(0, 105, 10), right=False)

# 方法4：直接使用Categorical对象
raw_cat = pd.Categorical(["a", "b", "c", "a"], categories=["b", "c", "d"])
s3 = pd.Series(raw_cat)

创建分类DataFrame

可以批量将DataFrame中的列转换为分类类型：

# 构造时转换
df1 = pd.DataFrame({'A': list('abca'), 'B': list('bccd')}, dtype="category")

# 批量转换现有DataFrame
df2 = pd.DataFrame({'A': list('abca'), 'B': list('bccd')})
df2_cat = df2.astype('category')

控制分类行为

通过CategoricalDtype可以更精细地控制分类属性：

from pandas.api.types import CategoricalDtype

# 定义分类类型
cat_type = CategoricalDtype(categories=["b", "c", "d"], ordered=True)

# 应用分类类型
s = pd.Series(["a", "b", "c", "a"])
s_cat = s.astype(cat_type)

分类数据操作

访问和修改类别

s = pd.Series(["a", "b", "c", "a"], dtype="category")

# 查看类别
print(s.cat.categories)  # Index(['a', 'b', 'c'], dtype='object')

# 查看是否有序
print(s.cat.ordered)  # False

# 重命名类别
s.cat.categories = ["Group A", "Group B", "Group C"]

# 添加新类别
s = s.cat.add_categories(["Group D"])

# 删除类别（被删除的值变为NaN）
s = s.cat.remove_categories(["Group A"])

# 设置完整类别列表
s = s.cat.set_categories(["Group B", "Group C", "Group D", "Group E"])

排序与顺序

分类数据的排序行为由其类别顺序决定，而非值的字母或数字顺序：

# 无序分类无法使用min/max
s = pd.Series(["a", "b", "c", "a"], dtype="category")
try:
    s.min()  # 引发TypeError
except TypeError as e:
    print(e)

# 有序分类
s_ordered = pd.Series(["a", "b", "c", "a"]).astype(
    CategoricalDtype(categories=["c", "b", "a"], ordered=True)
)
print(s_ordered.min())  # 'c'（因为'c'在类别中排第一位）

比较操作

分类数据支持有限的比较操作：

1. 与长度相同的列表类对象进行相等性比较（==, !=）
2. 两个具有相同类别和顺序的有序分类数据之间的所有比较
3. 分类数据与标量之间的比较

cat1 = pd.Series([1, 2, 3]).astype(
    CategoricalDtype([3, 2, 1], ordered=True)
)
cat2 = pd.Series([2, 2, 2]).astype(
    CategoricalDtype([3, 2, 1], ordered=True)
)

# 有效比较
print(cat1 > cat2)  # [False, False, True]

# 无效比较（会引发TypeError）
try:
    cat1 > [2, 2, 2]
except TypeError as e:
    print(e)

最佳实践

1. 内存优化：当字符串列的唯一值少于总值的50%时，考虑转换为分类类型
2. 明确顺序：如果业务逻辑有明确排序，务必设置ordered=True
3. 类别管理：创建后尽早固定类别列表，避免后续操作引入不一致
4. 谨慎比较：注意分类数据比较的限制，避免意外错误

分类数据类型是pandas中一个强大但常被忽视的特性，合理使用可以提升代码的效率和可读性，特别是在处理具有固定选项的业务数据时。