Stable Zero123 3D图像生成模型完整指南

模型概述

Stable Zero123是基于Zero123的视图条件图像生成模型，通过改进的数据渲染和模型条件策略，相比原始Zero123及其后续版本Zero123-XL表现出更好的性能。

该模型主要用于从单张输入图像生成高质量3D模型，也可以通过结合SDXL文本生成图像后再使用Stable Zero123进行3D对象生成。

许可证说明

Stable Zero123提供两个版本，具有不同的许可证：

Stable Zero123 - 包含部分CC-BY-NC 3D对象，不能用于商业用途，但可用于研究目的。使用Stability AI非商业研究社区许可证(LICENSE_stable_zero123.md)。

Stable Zero123C - 仅在CC-BY和CC0 3D对象上训练，可用于商业用途。使用Stability AI社区许可证(LICENSE_stable_zero123_c.md)。

安装准备

系统要求

• 操作系统: 支持Linux和Windows系统
• 硬件要求: 建议使用至少8GB显存的GPU，推荐NVIDIA A100 80GB GPU以获得最佳性能
• 必备软件: Python 3.8+, PyTorch 1.10+, CUDA 11.3+

下载模型

从仓库下载所需的检查点文件：

• 非商业用途: stable_zero123.ckpt
• 商业用途: stable_zero123_c.ckpt

安装步骤

1. 克隆threestudio项目

git clone https://gitcode.com/hf_mirrors/stabilityai/stable-zero123

2. 安装依赖项

cd threestudio
pip install -r requirements.txt

3. 放置模型文件

将下载的检查点文件放置在threestudio的load/zero123/目录下。

基本使用方法

加载模型

在threestudio中加载Stable Zero123模型：

from threestudio import load_model
model = load_model('stable_zero123')

生成3D模型流程

1. 准备输入图像

   • 使用AI图像生成工具生成所需图片（如"简单的友好狗的3D渲染"）
   • 使用图像处理工具去除背景
   • 保存为_rgba.png格式（如dog_rgba.png）

2. 运行生成命令

python launch.py --config configs/stable-zero123.yaml --train --gpu 0 data.image_path=./load/images/dog_rgba.png

参数说明

• --config: 指定配置文件路径
• --train: 启用训练模式
• --gpu: 指定使用的GPU设备编号
• data.image_path: 输入图像的路径

技术特性

训练数据集

模型使用Objaverse数据集的渲染图像，采用增强的渲染方法进行训练。

训练基础设施

• 硬件: 在Stability AI集群上使用8个A100 80GB GPU进行训练
• 代码库: 基于修改版的Zero123仓库

使用限制

模型不应被用于故意创建或传播为人们创造敌对或疏远环境的图像。这包括生成人们可预见地会发现令人不安、痛苦或冒犯的图像；或传播历史或当前刻板印象的内容。

最佳实践

1. 图像预处理: 确保输入图像具有透明背景（RGBA格式）
2. 分辨率选择: 使用适当的分辨率以获得最佳效果
3. 批量处理: 可以批量处理多个图像以提高效率
4. 结果优化: 根据生成结果调整参数以获得更好的3D质量

通过遵循本指南，您可以充分利用Stable Zero123的强大功能，从单张图像生成高质量的3D模型，无论是用于研究还是商业项目。