SparseTransformer项目教程

1. 项目目录结构及介绍

SparseTransformer项目是一个为稀疏变换器提供快速、内存高效、易于使用的实现的Python库。项目的主要目录结构如下：

SparseTransformer/
├── figs/                       # 存放项目相关的图像文件
├── sptr/                       # 核心代码模块
│   ├── __init__.py             # 初始化模块
│   ├── SparseTrTensor.py       # 稀疏变换器张量类
│   ├── VarLengthMultiheadSA.py # 可变长度多头自注意力类
│   └── ...
├── src/                        # 源代码目录
│   ├── ...
├── test/                       # 测试代码目录
├── .gitignore                  # 指定git忽略的文件
├── README.md                   # 项目说明文件
├── license                     # 项目许可证文件
├── setup.py                    # 项目安装脚本
└── ...

2. 项目的启动文件介绍

在SparseTransformer项目中，并没有一个特定的启动文件。项目的使用通常是从安装依赖开始的。在项目根目录下，通过以下命令安装依赖：

pip install torch==1.8.0+cu111 torchvision==0.9.0+cu111 torchaudio==0.8.0 -f https://download.pytorch.org/whl/torch_stable.html
pip install torch_scatter==2.0.9
pip install torch_geometric==1.7.2

安装完依赖后，使用setup.py脚本来编译和安装SparseTransformer库：

python3 setup.py install

3. 项目的配置文件介绍

SparseTransformer项目并没有一个单独的配置文件。项目的配置主要是通过代码中的参数来完成的。例如，在使用SparseTrTensor类和VarLengthMultiheadSA类时，可以通过以下方式配置：

import sptr
# 定义模块参数
dim = 48
num_heads = 3
indice_key = 'sptr_0'
window_size = np.array([0.4, 0.4, 0.4])  # 对于基于体素的方法可以是整数
shift_win = False  # 是否采用移位窗口

# 创建注意力模块实例
self.attn = sptr.VarLengthMultiheadSA(
    dim,
    num_heads,
    indice_key,
    window_size,
    shift_win
)

# 包装输入特征和索引为SparseTrTensor
# feats: [N, C]，indices: [N, 4]，其中第0列是批索引
input_tensor = sptr.SparseTrTensor(feats, indices, spatial_shape=None, batch_size=None)

# 前向传播
output_tensor = self.attn(input_tensor)

# 从输出张量中提取特征
output_feats = output_tensor.query_feats

在上述代码中，dim、num_heads、indice_key、window_size和shift_win等参数都是根据具体需求进行配置的。项目的使用和配置可以根据具体的网络结构和应用场景进行调整。