GenSAM 项目使用文档

1. 项目目录结构及介绍

GenSAM/
├── config/
│   └── CHAMELEON_LLaVA1.5.yaml
│   └── CHAMELEON_LLaVA.yaml
├── datasets/
├── llava/
├── .gitignore
├── AIG_framework_v2.png
├── LICENSE
├── README.md
├── demo_show.gif
├── demo_show.mp4
├── demo_v1.ipynb
├── framework_GenSAM.gif
├── main.py
├── requirements_llava.txt
├── script_llava.sh
├── sod_metric.py
├── supp_cod.pdf
├── supp_cod.png
├── utils.py
└── utils_model.py

目录结构介绍

• config/: 存放项目的配置文件，如 CHAMELEON_LLaVA1.5.yaml 和 CHAMELEON_LLaVA.yaml。
• datasets/: 存放项目使用的数据集。
• llava/: 存放与 LLaVA 相关的代码和文件。
• .gitignore: Git 忽略文件，指定哪些文件或目录不需要被 Git 管理。
• AIG_framework_v2.png: 项目框架的图片文件。
• LICENSE: 项目的开源许可证文件。
• README.md: 项目的说明文档。
• demo_show.gif: 项目演示的 GIF 文件。
• demo_show.mp4: 项目演示的视频文件。
• demo_v1.ipynb: 项目演示的 Jupyter Notebook 文件。
• framework_GenSAM.gif: 项目框架的 GIF 文件。
• main.py: 项目的启动文件。
• requirements_llava.txt: 项目依赖的 Python 包列表。
• script_llava.sh: 与 LLaVA 相关的脚本文件。
• sod_metric.py: 用于评估分割结果的 Python 文件。
• supp_cod.pdf: 项目支持文档的 PDF 文件。
• supp_cod.png: 项目支持文档的图片文件。
• utils.py: 项目中使用的工具函数。
• utils_model.py: 与模型相关的工具函数。

2. 项目的启动文件介绍

main.py

main.py 是 GenSAM 项目的启动文件。它包含了项目的主要逻辑和执行流程。通过运行 main.py，用户可以启动项目的核心功能，如图像分割和测试时适应。

主要功能

• 配置加载: 从配置文件中加载项目的参数和设置。
• 数据加载: 加载数据集并进行预处理。
• 模型初始化: 初始化分割模型。
• 测试时适应: 执行测试时适应机制，优化视觉提示。
• 结果输出: 输出分割结果并可视化。

使用方法

python main.py --config config/CHAMELEON_LLaVA1.5.yaml

3. 项目的配置文件介绍

config/CHAMELEON_LLaVA1.5.yaml

CHAMELEON_LLaVA1.5.yaml 是 GenSAM 项目的配置文件之一。它包含了项目运行所需的参数和设置。

主要配置项

• 数据集路径: 指定数据集的存储路径。
• 模型参数: 设置模型的超参数，如学习率、批量大小等。
• LLaVA 配置: 配置 LLaVA 模型的相关参数。
• 输出路径: 指定结果输出的路径。

示例配置

dataset:
  path: "/data/CHAMELEON"

model:
  learning_rate: 0.001
  batch_size: 8

llava:
  version: "1.5"
  checkpoint: "sam_vit_h_4b8939.pth"

output:
  path: "/results/CHAMELEON"

通过修改配置文件，用户可以自定义项目的运行参数，以适应不同的需求和环境。