xet-core 的安装和配置教程

1. 项目基础介绍和主要编程语言

xet-core 是一个用于 huggingface_hub 的 xet 客户端技术库。它使得 huggingface_hub 能够利用 xet 存储进行上传和下载。xet 存储提供了基于块的重复数据删除、高效的存储/检索以及与 Git LFS 的向后兼容性。这个库不是直接使用的，而是设计用于在 huggingface_hub 中使用。

xet-core 主要使用 Rust 编程语言开发，同时也包含了一些 Python 绑定。

2. 项目使用的关键技术和框架

• 基于块的重复数据删除（chunk-based deduplication）：避免在二进制文件（如模型、数据集等）之间共享块时的传输和存储。
• Python 绑定：为 huggingface_hub 提供了 Python 语言的绑定。
• 网络通信：与 HF Hub Xet 后端服务进行并发通信。
• 本地磁盘缓存：在现有的 huggingface_hub 磁盘缓存旁边提供基于块的缓存。

3. 项目安装和配置的准备工作及详细安装步骤

准备工作

• 确保你的系统中安装了 Rust 工具链。如果未安装，可以访问 Rust 官方网站了解安装步骤。
• 准备一个适合的开发环境，如 Visual Studio Code，并安装 rust-analyzer 扩展。
• 对于 Python 绑定，确保你的系统中安装了 Python 3 和 pip。

安装步骤

步骤 1：安装 Rust 工具链

首先，你需要安装 Rust 工具链。访问 Rust 官方网站下载并运行 rustup 安装程序。安装完成后，打开终端并运行以下命令以确保安装正确：

rustc --version
cargo --version

步骤 2：克隆仓库

在终端中，导航到你希望存放代码的目录，并运行以下命令克隆仓库：

git clone https://github.com/huggingface/xet-core.git
cd xet-core

步骤 3：构建项目

在项目根目录下，运行以下命令构建项目：

cargo build

步骤 4：测试项目

构建完成后，你可以运行以下命令来执行单元测试：

cargo test

步骤 5：构建 Python 包

对于 Python 绑定，你需要先创建一个 Python 虚拟环境，然后安装 maturin。以下是具体步骤：

# 创建 Python3 虚拟环境
python3 -mvenv ~/venv

# 激活虚拟环境
source ~/venv/bin/activate

# 安装 maturin
pip3 install maturin

然后，导航到 hf_xet 目录并运行以下命令构建 Python 包：

cd hf_xet
maturin develop

步骤 6：测试 Python 绑定

在 Python 虚拟环境中，运行以下命令来测试 Python 绑定：

ipython

在 IPython 解释器中，执行以下代码：

import hfxet
hfxet.upload_files()
hfxet.download_files()

如果你顺利完成以上步骤，那么你已经成功安装和配置了 xet-core 项目。