LL3DA 项目使用教程

1. 项目介绍

LL3DA 是一个大型语言 3D 助手，能够响应复杂 3D 环境中的视觉和文本交互。该项目在 CVPR 2024 中被接受，旨在通过点云作为直接输入，帮助大型多模态模型（LMM）更好地理解人类交互，并消除 3D 场景中的模糊性。LL3DA 在 3D 密集标注和 3D 问答任务中表现出色，超越了多种 3D 视觉语言模型。

2. 项目快速启动

环境设置

首先，确保你的环境满足以下要求：

• CUDA 11.6
• Python 3.8.16

安装必要的依赖包：

pip install h5py scipy cython plyfile 'trimesh>=2.35.39,<2.35.40' 'networkx>=2.2,<2.3' 'torch==1.13.1+cu116' 'transformers>=4.37.0'

然后，从源码构建 pointnet2 和加速的 giou：

cd third_party/pointnet2
python setup.py install
cd utils
python cython_compile.py build_ext --inplace

下载预训练嵌入

从 Hugging Face 下载预处理的 BERT 嵌入权重，并存储在 /bert-base-embedding 文件夹中。

数据准备

下载和准备 ScanNet 3D 数据

按照以下步骤下载 ScanNetV2 数据集：

cd data/scannet/
python batch_load_scannet_data.py

准备语言标注

下载并预处理 ScanRefer、Nr3D、ScanQA 和 3D-LLM 数据集，并组织文件结构如下：

/data/
  ScanRefer/
    ScanRefer_filtered_train.json
    ScanRefer_filtered_train.txt
    ScanRefer_filtered_val.json
    ScanRefer_filtered_val.txt
  Nr3D/
    nr3d_train.json
    nr3d_train.txt
    nr3d_val.json
    nr3d_val.txt
  ScanQA/
    ScanQA_v1.0_test_w_obj.json
    ScanQA_v1.0_test_wo_obj.json
    ScanQA_v1.0_train.json
    ScanQA_v1.0_val.json
  3D_LLM/
    3d_llm_embodied_dialogue_filtered_train.json
    3d_llm_embodied_dialogue_filtered_val.json
    3d_llm_embodied_planning_filtered_train.json
    3d_llm_embodied_planning_filtered_val.json
    3d_llm_scene_description_train.json
    3d_llm_scene_description_val.json

训练模型

使用以下命令训练 3D 通用模型：

bash scripts/opt-1.3b/train_generalist.sh

3. 应用案例和最佳实践

3D 密集标注

在 ScanRefer 和 Nr3D 数据集上进行微调：

bash scripts/opt-1.3b/tuning_scanrefer.sh
bash scripts/opt-1.3b/tuning_nr3d.sh

3D 问答

在 ScanQA 数据集上进行微调：

bash scripts/opt-1.3b/tuning_scanqa.sh

开放词汇对象检测

微调模型以预测边界框：

bash scripts/opt-1.3b/tuning_ovdet.sh

4. 典型生态项目

相关项目

• ScanNet: 一个大规模的 3D 室内场景数据集，用于训练和评估 3D 视觉模型。
• Hugging Face Transformers: 提供预训练的语言模型，如 BERT，用于文本处理。
• PointNet++: 一个用于处理点云数据的深度学习框架。

通过这些生态项目，LL3DA 能够更好地理解和处理复杂的 3D 环境，提供更强大的视觉和文本交互能力。