M3DM 开源项目教程

项目介绍

M3DM（Multi-3D-Memory）是一个新颖的多模态异常检测方法，采用混合融合方案。该项目的主要目标是解决基于3D点云和RGB图像的多模态工业异常检测问题。现有的多模态工业异常检测方法通常直接连接多模态特征，这会导致特征之间的强干扰，从而影响检测性能。M3DM通过设计无监督特征融合和决策层融合，避免了信息丢失，并使用多个内存银行和额外的新颖性分类器来做出最终决策。此外，M3DM还提出了点特征对齐操作，以更好地对齐点云和RGB特征。

项目快速启动

环境准备

在开始之前，请确保您的环境满足以下要求：

• Ubuntu 18.04
• Python 3.8
• PyTorch 1.9.0
• CUDA 11.3

安装依赖

首先，克隆项目仓库并安装所需的依赖包：

git clone https://github.com/nomewang/M3DM.git
cd M3DM
pip install -r requirements.txt

数据准备

下载MVTec-3D AD数据集并将其放置在dataset文件夹中：

mkdir -p datasets/mvtec3d
# 下载数据集并解压到 datasets/mvtec3d 文件夹中

数据预处理

运行数据预处理脚本：

python utils/preprocessing.py datasets/mvtec3d/

模型训练

使用以下命令训练模型：

python main.py \
  --method_name DINO+Point_MAE \
  --memory_bank multiple \
  --rgb_backbone_name vit_base_patch8_224_dino \
  --xyz_backbone_name Point_MAE \
  --save_feature

模型测试

训练完成后，使用以下命令进行模型测试：

python main.py \
  --method_name DINO+Point_MAE+Fusion \
  --use_uff \
  --memory_bank multiple \
  --rgb_backbone_name vit_base_patch8_224_dino \
  --xyz_backbone_name Point_MAE \
  --fusion_module_path checkpoints/[FUSION_CHECKPOINT].pth

应用案例和最佳实践

工业异常检测

M3DM在工业异常检测中表现出色，特别是在MVTec-3D AD数据集上，其检测和分割精度均优于现有的最先进方法。M3DM的混合融合方案和点特征对齐操作使其在处理多模态数据时具有更高的鲁棒性和准确性。

最佳实践

1. 数据预处理：确保数据预处理步骤正确执行，以避免数据噪声对模型性能的影响。
2. 模型选择：根据具体应用场景选择合适的模型配置，如不同的骨干网络和内存银行设置。
3. 超参数调优：通过实验调整学习率、批量大小等超参数，以获得最佳的模型性能。

典型生态项目

3D-ADS

3D-ADS是一个基于3D点云的异常检测系统，与M3DM在数据处理和模型架构上有一定的相似性，可以作为M3DM的补充工具。

MoCo-v3

MoCo-v3是一个基于对比学习的视觉表示学习框架，M3DM在其基础上进行了扩展，引入了多模态特征融合和点特征对齐操作，进一步提升了模型的性能。

通过以上步骤，您可以快速上手并使用M3DM进行多模态工业异常检测。希望本教程对您有所帮助！