Compressed-tensors 安装与配置指南

1. 项目基础介绍

compressed-tensors 是一个开源库，它扩展了 safetensors 格式，为存储和管理压缩的张量数据提供了一种灵活且高效的方法。此库支持多种量化和稀疏模式，适用于不同的模型优化技术，例如 GPTQ、AWQ、SmoothQuant、INT8、FP8、SparseGPT 等。

主要编程语言：Python

2. 项目使用的关键技术和框架

• 张量压缩：通过不同的压缩配置，实现张量数据的压缩存储。
• 量化技术：支持权重量化和激活量化，以及不同层采用不同量化方式。
• 稀疏模式：处理无结构和半结构化的稀疏模式。
• 集成兼容性：与 Hugging Face 模型和 PyTorch 无缝集成。

3. 项目安装和配置

准备工作

在开始安装前，请确保您的系统中已安装以下依赖项：

• Python 3.6 或更高版本
• pip（Python 包管理器）

安装步骤

通过 PyPI 安装

1. 稳定版：

   pip install compressed-tensors
   

2. 夜间版（可能包含最新功能，但稳定性未知）：

   pip install --pre compressed-tensors
   

从源代码安装

1. 克隆项目仓库：

   git clone https://github.com/neuralmagic/compressed-tensors.git
   

2. 切换到项目目录：

   cd compressed-tensors
   

3. 安装项目：

   pip install -e .
   

安装完成后，您可以通过导入 compressed_tensors 来验证安装是否成功。

import compressed_tensors
print(compressed_tensors.__version__)

如果能够正常打印出版本号，则表示安装成功。

以上步骤为您提供了从源代码或 PyPI 安装 compressed-tensors 的详细指南。按照这些步骤操作，您应该能够顺利地将该库集成到您的项目中。