【亲测免费】 NVIDIA Cosmos Tokenizer 安装与配置指南

1. 项目基础介绍

NVIDIA Cosmos Tokenizer 是一套图像和视频神经标记化工具，它推进了视觉标记化的前沿技术，为开发大规模自回归变换器（如 LLMs）或扩散生成器提供了可扩展、健壮和高效的解决方案。Cosmos Tokenizer 是 NVIDIA Cosmos 平台的核心组件，该平台旨在帮助物理 AI 开发者更快、更好地构建他们的物理 AI 系统。

主要编程语言：Python

2. 项目使用的关键技术和框架

• PyTorch：用于构建和训练神经网络的开源机器学习库。
• Tokenization：将图像或视频转换为连续潜在空间或离散标记的技术。
• GPU 加速：利用 NVIDIA GPU 进行加速计算，提高处理速度。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已安装以下软件：

• Python 3.x
• PyTorch
• Git
• Docker（推荐，但不是必需）

详细安装步骤

步骤 1：克隆项目仓库

打开终端（或命令提示符），执行以下命令以克隆项目仓库：

git clone https://github.com/NVIDIA/Cosmos-Tokenizer.git
cd Cosmos-Tokenizer

步骤 2：安装依赖

安装项目所需的 Python 包：

pip3 install -e .

如果使用 Docker，可以构建 Docker 镜像：

docker build -t cosmos-tokenizer -f Dockerfile .

步骤 3：下载预训练模型

从 Hugging Face 下载预训练模型。首先，您需要获取 Hugging Face 的访问令牌（token），然后运行以下脚本：

from huggingface_hub import login, snapshot_download
import os

login(token="<YOUR-HF-TOKEN>", add_to_git_credential=True)

model_names = [
    "Cosmos-0.1-Tokenizer-CI8x8",
    # ... 添加其他需要的模型名称
]

for model_name in model_names:
    hf_repo = "nvidia/" + model_name
    local_dir = "pretrained_ckpts/" + model_name
    os.makedirs(local_dir, exist_ok=True)
    print(f"downloading {model_name}...")
    snapshot_download(repo_id=hf_repo, local_dir=local_dir)

替换 <YOUR-HF-TOKEN> 为您的 Hugging Face 访问令牌。

步骤 4：运行示例代码

根据项目提供的示例代码，您可以开始编码和解码图像或视频。具体示例命令请参考项目仓库中的 README.md 文件。

以上步骤为您提供了从零开始安装和配置 NVIDIA Cosmos Tokenizer 的基本指南。请确保按照项目文档中的说明进行操作，以获得最佳效果。