Embodied Generalist 项目使用教程

1. 项目目录结构及介绍

embodied-generalist/
├── assets/
├── common/
├── configs/
├── data/
├── evaluator/
├── model/
├── scripts/
├── trainer/
├── .gitignore
├── LICENSE
├── README.md
├── inference.py
├── launch.py
├── requirements.txt
└── run.py

目录结构介绍

• assets/: 存放项目所需的静态资源文件。
• common/: 存放项目通用的工具函数和类。
• configs/: 存放项目的配置文件，包括数据配置、模型配置等。
• data/: 存放项目的数据集和数据处理脚本。
• evaluator/: 存放评估模型的脚本和工具。
• model/: 存放模型的实现代码，包括视觉模型、语言模型等。
• scripts/: 存放项目的辅助脚本，如数据预处理脚本等。
• trainer/: 存放训练模型的脚本和工具。
• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件。
• README.md: 项目介绍和使用说明。
• inference.py: 模型推理脚本。
• launch.py: 项目启动脚本。
• requirements.txt: 项目依赖库列表。
• run.py: 项目运行脚本。

2. 项目启动文件介绍

launch.py

launch.py 是项目的启动文件，负责初始化环境和启动项目的各个组件。以下是该文件的主要功能：

• 初始化环境: 设置项目的运行环境，包括加载配置文件、初始化日志系统等。
• 启动任务: 根据配置文件中的任务类型，启动相应的任务，如训练、推理、评估等。
• 资源管理: 管理项目的资源，如GPU、内存等，确保任务的顺利执行。

run.py

run.py 是项目的运行脚本，通常用于执行特定的任务。以下是该文件的主要功能：

• 任务执行: 根据传入的参数执行特定的任务，如训练模型、进行推理等。
• 参数解析: 解析命令行参数，根据参数配置任务的执行方式。
• 日志记录: 记录任务执行过程中的日志信息，便于后续分析和调试。

3. 项目的配置文件介绍

configs/ 目录

configs/ 目录下存放了项目的各种配置文件，主要包括以下几个部分：

• 数据配置: 配置数据集的路径、预处理方式等。
• 模型配置: 配置模型的参数、结构等。
• 训练配置: 配置训练过程中的参数，如学习率、批量大小等。
• 评估配置: 配置评估过程中的参数，如评估指标、评估数据集等。

配置文件示例

# configs/data/default.yaml
data:
  scan_family_base: "/path/to/scan_data"
  rscan_base: "/path/to/rscan_data"
  alignment_base: "/path/to/alignment_data"
  instruction_base: "/path/to/instruction_data"

# configs/model/default.yaml
model:
  backbone: "PointNet++"
  llm: "Vicuna-7B"
  vision3d: "PointBERT"

# configs/trainer/default.yaml
trainer:
  batch_size: 32
  learning_rate: 0.001
  epochs: 100

配置文件的使用

在项目启动时，launch.py 会读取 configs/ 目录下的配置文件，并根据配置文件中的参数初始化项目的环境和任务。用户可以根据需要修改配置文件，以适应不同的任务需求。

总结

本教程介绍了 Embodied Generalist 项目的目录结构、启动文件和配置文件。通过了解这些内容，用户可以更好地理解和使用该项目，进行模型的训练、推理和评估。