Habitat-Matterport 3D 数据集 (HM3D) 技术文档

安装指南

1. 克隆 HM3D GitHub 仓库并添加到 PYTHONPATH

git clone https://github.com/facebookresearch/habitat-matterport3d-dataset.git
cd habitat-matterport3d-dataset
export PYTHONPATH=$PYTHONPATH:$PWD

2. 创建并激活 Conda 环境

conda create -n hm3d python=3.8.3
conda activate hm3d

3. 使用 Conda 安装 habitat-sim

conda install habitat-sim headless -c conda-forge -c aihabitat

4. 安装 trimesh 及其软依赖

pip install "trimesh[easy]==3.9.1"

5. 安装剩余的依赖项

pip install -r requirements.txt

项目使用说明

下载数据集

在论文中，我们对比了 HM3D 与其他室内场景数据集（如 Gibson、MP3D、RoboThor、Replica 和 ScanNet）的性能。

1. 根据 habitat-sim 的说明 下载每个数据集。对于 RoboThor，使用 assimp 将原始扫描资产转换为 GLB 格式。

   assimp export <SOURCE SCAN FILE> <GLB FILE PATH>
   

2. 下载并处理数据集后，创建指向相应场景路径的环境变量。

   export GIBSON_ROOT=<PATH TO GIBSON glbs>
   export MP3D_ROOT=<PATH TO MP3D glbs>
   export ROBOTHOR_ROOT=<PATH TO ROBOTHOR glbs>
   export HM3D_ROOT=<PATH TO HM3D glbs>
   export REPLICA_ROOT=<PATH TO REPLICA plys>
   export SCANNET_ROOT=<PATH TO SCANNET glbs>
   

运行实验

我们提供了代码来重现 论文 中的结果，这些代码位于不同的目录中：

• scale_comparison：包含比较 HM3D 与其他数据集规模（论文中的表1）的代码。
• quality_comparison：包含比较 HM3D 与其他数据集重建完整性和视觉保真度（论文中的图4和表5）的代码。
• pointnav_comparison：包含在 HM3D 和其他数据集上训练和评估 PointNav 代理的配置和说明（论文中的表2和图7）。

每个目录中都提供了 README 文件，其中包含运行相应实验的说明。

项目 API 使用文档

HM3D 数据集与 FAIR 的 Habitat 模拟器 结合使用，可以训练具身代理（如家用机器人和 AI 助手）。API 文档可以在 Habitat 模拟器的官方文档中找到，具体使用方法请参考 Habitat 模拟器的 API 文档。

项目安装方式

HM3D 数据集的安装方式已经在“安装指南”部分详细说明。请按照上述步骤进行安装和配置。