Scanpy 中对 scipy.sparse.csr_array 支持问题的技术解析
2025-07-04 16:19:03作者:廉彬冶Miranda
背景介绍
Scanpy 是一个广泛使用的单细胞 RNA 测序数据分析工具包,在处理大规模单细胞数据时,稀疏矩阵(scipy.sparse)的高效存储和计算是其重要特性之一。随着 scipy 1.8.0 版本引入了新的稀疏矩阵类型 csr_array 和 csc_array,这些新类型旨在逐步替代传统的 csr_matrix 和 csc_matrix。
问题发现
在 Scanpy 1.10.4 版本中,当使用 scipy.sparse.csr_array 作为 AnnData 对象的 .X 属性时,执行主成分分析(sc.pp.pca)会出现 NotImplementedError 异常。这个问题源于 Scanpy 内部对稀疏矩阵元素级操作(elem_mul)的实现尚未适配新的 csr_array 类型。
技术细节分析
问题出现在两个关键环节:
-
均值方差计算:在 _get_mean_var 函数中,当尝试计算矩阵元素的平方(用于方差计算)时,elem_mul 函数无法处理 csr_array 类型。
-
均值计算:在较旧版本(1.9.3)中,还出现了另一个问题,当尝试访问 .A 属性时出错,因为 csr_array 的均值计算返回的是 numpy 数组而非稀疏矩阵。
解决方案
Scanpy 开发团队已经意识到这个问题,并正在进行全面修复:
- 首先通过重构内部矩阵操作函数来支持新类型(#3431)
- 随后专门针对 PCA 计算中的稀疏矩阵处理进行了修复(#3563)
对用户的影响和建议
对于使用 Scanpy 分析单细胞数据的用户,建议:
- 目前可以暂时继续使用传统的 csr_matrix/csc_matrix 类型
- 关注 Scanpy 的版本更新,待修复发布后升级到新版本
- 在转换到新稀疏矩阵类型前,测试关键分析流程的兼容性
未来展望
随着 scipy 稀疏矩阵新类型的逐步推广,Scanpy 的全面适配将带来:
- 更好的内存管理效率
- 更一致的 API 设计
- 为未来性能优化奠定基础
这一改进体现了 Scanpy 项目对保持技术前沿性的承诺,同时也展示了科学计算生态系统中各组件协同演进的重要性。
登录后查看全文
热门项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0219
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0140
uni-appA cross-platform framework using Vue.jsJavaScript09
GLM-5.2智谱开源 GLM-5.2,这是针对长文本任务的最新旗舰模型。相较于前代产品 GLM-5.1,它在长文本任务处理能力上实现了显著飞跃,并且首次在稳定的 100 万 token 上下文中提供这一能力。Jinja00
SwanLab⚡️SwanLab - an open-source, modern-design AI training tracking and visualization tool. Supports Cloud / Self-hosted use. Integrated with PyTorch / Transformers / LLaMA Factory / veRL/ Swift / Ultralytics / MMEngine / Keras etc.Python00
tiny-universe《大模型白盒子构建指南》:一个全手搓的Tiny-UniverseJupyter Notebook03
项目优选
收起
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
471
466
deepin linux kernel
C
32
16
Claude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed.
Get Started
Rust
2.09 K
219
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
700
1.4 K
暂无描述
Dockerfile
780
5.08 K
Ascend Extension for PyTorch
Python
759
968
本仓库是 Flutter SDK 与 Flutter Engine 的 OpenHarmony 适配版本,由 CPF-Flutter 团队维护。开发者可使用熟悉的 Flutter 技术栈开发 OpenHarmony 应用,3.35.7 及以后的适配版本可基于本仓库源码构建支持 OpenHarmony 的 Flutter Engine。
Dart
1.04 K
272
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
880
2.02 K
MindQuantum is a general software library supporting the development of applications for quantum computation.
Python
183
112
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
1.11 K
682