TEXTurePaper 项目教程

1. 项目介绍

TEXTurePaper 是一个用于文本引导的 3D 形状纹理生成、编辑和转移的开源项目。该项目利用预训练的深度到图像扩散模型，通过迭代方案从不同视角绘制 3D 模型。TEXTure 不仅能够生成新的纹理，还可以使用文本提示或用户提供的涂鸦来编辑和细化现有纹理。

2. 项目快速启动

安装依赖

首先，安装项目所需的依赖项：

pip install -r requirements.txt
pip install kaolin==0.11.0 -f https://nvidia-kaolin-s3.us-east-2.amazonaws.com/[TORCH_VER]_[CUDA_VER].html

获取 Hugging Face 令牌

为了使用 StableDiffusion，您需要一个 Hugging Face 令牌。首先接受模型的条件，然后将令牌添加到项目的根目录，或者使用以下命令登录：

huggingface-cli login

运行示例

以下是一些示例代码，用于生成和编辑纹理：

文本条件纹理生成

python -m scripts.run_texture --config_path=configs/text_guided/napoleon.yaml

纹理转移

python -m scripts.generate_data_from_mesh --config_path=configs/texture_transfer/render_spot.yaml
python -m scripts.finetune_diffusion --pretrained_model_name_or_path=stabilityai/stable-diffusion-2-depth --instance_data_dir=texture_renders/spot_train_images/ --instance_prompt='a <[]> photo of a <object>' --append_direction --lr_warmup_steps=0 --max_train_steps=10000 --scale_lr --init_token cow --output_dir tuned_models/spot_model --eval_path=configs/texture_transfer/eval_data.json

3. 应用案例和最佳实践

应用案例

• 3D 模型纹理生成：使用 TEXTure 可以根据文本提示生成高质量的 3D 模型纹理。
• 纹理编辑：通过文本提示或用户涂鸦，可以对现有纹理进行编辑和细化。
• 纹理转移：将生成的纹理映射到新的 3D 几何体上，无需显式的表面到表面映射。

最佳实践

• 数据准备：在开始纹理生成或编辑之前，确保数据集准备充分，包括图像和深度图。
• 模型微调：根据具体需求微调扩散模型，以获得更好的纹理生成效果。
• 参数调整：根据不同的应用场景调整配置文件中的参数，以优化纹理生成和编辑的效果。

4. 典型生态项目

• Kaolin：NVIDIA 提供的 3D 深度学习库，支持 3D 模型的加载、预处理和可视化。
• StableDiffusion：基于深度学习的图像生成模型，用于生成高质量的图像纹理。
• Hugging Face Transformers：提供了一系列预训练的深度学习模型，支持文本到图像的生成任务。

通过结合这些生态项目，TEXTurePaper 能够实现更强大的 3D 纹理生成和编辑功能。