Scanpy聚合函数sc.get.aggregate中的数值丢失问题分析

Scanpy是一个流行的单细胞RNA测序数据分析工具包，其sc.get.aggregate函数用于按指定分组变量对数据进行聚合计算。近期发现该函数在特定条件下会出现数值丢失的问题，本文将深入分析这一问题的成因及解决方案。

问题现象

当使用sc.get.aggregate函数同时按三个变量进行分组聚合时，部分分组结果会意外丢失。具体表现为：

1. 原始数据包含69个独特的患者ID
2. 当同时按"patient_id"、"timepoint"和"external_batch_id"三个变量分组时，结果中仅保留了15个患者ID
3. 而仅使用其中任意两个变量组合分组时，所有69个患者ID都能正确保留

问题根源

经过技术分析，发现问题出在_combine_categories内部函数的实现逻辑上。该函数负责将多个分类变量组合成一个复合分类变量，其核心计算使用了错误的累加方式。

错误实现分析

原代码使用了cumsum(累加)来计算组合分类的编码：

codes = (codes * shifts.cumsum()).sum(1)

而实际上应该使用cumprod(累乘)来计算：

codes = (codes * shifts.cumprod()).sum(1)

示例演示

以一个简单的测试数据为例：

import pandas as pd

df = pd.DataFrame({
    "a": [1, 1, 1, 1, 2],
    "b": [1, 1, 2, 2, 3], 
    "c": [1, 2, 1, 2, 1],
})

错误实现会产生错误的组合分类结果，部分组合被错误地合并或丢失。

解决方案

该问题已在Scanpy的代码库中修复，将cumsum替换为正确的cumprod计算方式。修复后的版本将正确处理多变量组合分组的情况，确保所有分组结果都能正确保留。

技术背景

在数据分析中，分类变量的组合编码是一个常见需求。正确的编码方式应该保证：

1. 每个独特的组合对应唯一的编码值
2. 编码值之间没有冲突或重叠
3. 编码过程可逆，能够还原原始分类信息

使用累乘而非累加的原因在于：

• 累乘能确保每个分类变量的取值范围不会重叠
• 累加可能导致不同组合产生相同的总和，造成编码冲突
• 累乘保持了分类变量间的独立性

影响范围

该问题主要影响以下场景：

1. 使用三个或更多分类变量进行分组聚合
2. 分类变量具有多个不同取值水平
3. 需要确保所有原始分组都能在结果中正确表示

对于仅使用一个或两个分类变量的情况，通常不会出现此问题。

最佳实践建议

为避免类似问题，建议：

1. 检查分组结果的唯一性是否与预期一致
2. 对于关键分析，验证分组结果的完整性
3. 保持Scanpy版本更新，及时获取修复
4. 对于复杂分组，可考虑分步验证中间结果

总结

Scanpy的聚合函数在多变量分组时出现的数值丢失问题源于分类变量组合编码的实现错误。通过将累加改为累乘的正确计算方式，确保了分组结果的完整性和准确性。这一修复对需要进行复杂分组分析的单细胞RNA测序研究具有重要意义。