LGM 项目使用教程

1. 项目介绍

LGM（Large Multi-View Gaussian Model）是一个用于高分辨率3D内容创建的开源项目。该项目旨在通过文本提示或单视图图像生成高分辨率的3D模型。LGM的核心创新在于其多视图高斯特征表示和不对称U-Net架构，能够在保持生成速度的同时提升训练分辨率。

2. 项目快速启动

2.1 安装依赖

首先，确保你已经安装了必要的依赖。以下是安装步骤：

# 安装torch 2.1.0 + cuda 11.8
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu118

# 安装xformers
pip install -U xformers --index-url https://download.pytorch.org/whl/cu118

# 克隆并安装diff-gaussian-rasterization
git clone --recursive https://github.com/ashawkey/diff-gaussian-rasterization
pip install ./diff-gaussian-rasterization

# 安装nvdiffrast
pip install git+https://github.com/NVlabs/nvdiffrast

# 安装其他依赖
pip install -r requirements.txt

2.2 下载预训练权重

下载预训练权重以便进行推理：

mkdir pretrained && cd pretrained
wget https://huggingface.co/ashawkey/LGM/resolve/main/model_fp16_fixrot.safetensors
cd ..

2.3 运行推理

使用以下命令进行推理：

# 使用gradio应用进行文本/图像到3D的转换
python app.py big --resume pretrained/model_fp16.safetensors

# 测试单个图像或图像文件夹
python infer.py big --resume pretrained/model_fp16.safetensors --workspace workspace_test --test_path data_test

# 本地GUI可视化保存的ply文件
python gui.py big --output_size 800 --test_path workspace_test/saved.ply

# 网格转换
python convert.py big --test_path workspace_test/saved.ply

3. 应用案例和最佳实践

3.1 应用案例

LGM可以广泛应用于游戏开发、电影制作、虚拟现实和增强现实等领域。例如，游戏开发者可以使用LGM快速生成高质量的游戏角色和场景模型，电影制作人可以利用LGM生成逼真的特效场景。

3.2 最佳实践

• 数据准备：确保输入的图像或文本提示清晰且相关，以获得最佳的3D模型生成效果。
• 参数调整：根据具体需求调整推理脚本中的参数，如输出分辨率、模型权重路径等。
• 性能优化：在GPU资源有限的情况下，可以考虑使用半精度模型（fp16）以减少内存占用。

4. 典型生态项目

LGM作为一个开源项目，与其他相关项目和工具形成了良好的生态系统：

• Diff-Gaussian-Rasterization：用于高斯光栅化的开源库，与LGM紧密集成。
• NVDiffrast：NVIDIA开发的用于网格提取的工具，支持LGM的网格转换功能。
• Gradio：用于快速构建和分享机器学习模型的Web应用框架，LGM使用Gradio构建了用户友好的推理界面。

通过这些生态项目的协同工作，LGM能够提供从数据处理到模型生成再到结果展示的一站式解决方案。