INSID3快速入门:10分钟上手免训练图像分割,首次运行完整指南(附Colab Demo)

原创2026-10-28 10:54:301,684 阅读

INSID3快速入门:10分钟上手免训练图像分割,首次运行完整指南(附Colab Demo)

INSID3 是一个基于 DINOv3 的免训练(training-free)上下文图像分割方法:无需微调、无需额外分割解码器,只用一个冻结的 DINOv3 骨干网络即可完成分割。本文将带你从环境搭建到第一次分割出目标图像,完整跑通 INSID3 首次运行全流程;没有 GPU 也可以直接用官方 Colab 在线 Demo。

🚀 INSID3 是什么?为什么说“免训练”很重要

传统图像分割模型通常要依赖大规模标注数据从头训练,而 INSID3 采用**上下文分割(in-context segmentation)**范式:给模型一张带掩码的参考图当“示例”,它就能在新目标图上直接分割出同类物体,就像人“看例子学分割”一样。

更关键的是,INSID3 做到了彻底免训练:

  • 无需微调:DINOv3 骨干全程冻结,不更新任何参数
  • 无需分割解码器:不引入额外网络模块
  • 无需辅助模型:单一骨干完成全部推理

INSID3免训练上下文分割的应用领域与多基准对比总览

它的能力来自两个关于 DINOv3 特征的关键发现:

  1. 稠密特征天然诱导结构分解——对特征做聚类,无需监督即可得到物体级、部件级区域;
  2. 特征还响应图像的绝对位置——INSID3 发现这种位置偏差藏在稳定的低维子空间里,并通过免训练投影将其移除,让特征更可靠。

INSID3利用DINOv3稠密特征聚类自动形成物体与部件区域

🛠 环境搭建三步走(约 5 分钟)

1. 克隆仓库

git clone https://gitcode.com/gh_mirrors/in/INSID3
cd INSID3

2. 安装依赖

提供 Conda 与 uv 两种方式,二选一即可:

方式 A:Conda(论文参考配置为 PyTorch 2.7.1 + CUDA 12.6)

conda create --name insid3 python=3.10 -y
conda activate insid3
pip install -r requirements.txt

方式 B:uv(自动创建 .venv 虚拟环境并安装 pyproject.toml 中的依赖,可选 CRF 依赖已包含)

uv sync
source .venv/bin/activate

核心依赖见 requirements.txt:torch、torchvision、einops、scikit-learn 等。

💡 如需 CRF 掩码精化(可选),请按照 README.md 中的说明额外安装 CRF 库。

3. 准备 DINOv3 预训练权重

INSID3 依赖冻结的 DINOv3 骨干,需从 DINOv3 官方仓库下载预训练权重,并放入项目的 pretrain/ 目录:

mkdir -p pretrain

默认使用 Large 模型(dinov3_vitl16_pretrain_lvd1689m-8aa4cbdd.pth)。small / base / large 三种尺寸与对应权重文件的映射定义在 models/init.py 中。

🐱 10 分钟首次运行:分割第一张猫

仓库 assets/ 目录内置了现成的猫示例:参考图、参考掩码和目标图。

INSID3上下文分割参考图:一只站在窗台上的虎斑猫 INSID3参考掩码:白色区域为需要分割的猫

新建一个 quickstart.py,内容如下(官方最小示例):

from models import build_insid3
from utils.visualization import visualize_prediction_segmentation as visualize

ref_image_path, ref_mask_path = "assets/ref_cat_image.jpg", "assets/ref_cat_mask.png"
target_image_path = "assets/target_cat_image.jpg"
output_path = "target_cat_pred.png"

model = build_insid3()                                  # 构建模型,加载冻结DINOv3
model.set_reference(ref_image_path, ref_mask_path)      # 设置参考图与掩码
model.set_target(target_image_path)                     # 设置目标图
pred_mask = model.segment()                             # 执行分割

visualize(ref_image_path, ref_mask_path, target_image_path,
          pred_mask, output_path)

运行:

python quickstart.py

当前目录会生成 target_cat_pred.png——目标图中的猫被高亮标出。四个核心 API 非常直观,实现见 models/insid3.py:

API 作用
build_insid3() 构建模型,加载冻结 DINOv3 权重
set_reference(img, mask) 提供“示例”,可多次调用实现 1-shot / 5-shot
set_target(img) 提供待分割图像
segment() 输出预测掩码

⚡ 首次运行的 4 个提速技巧

  1. 降低分辨率提速:build_insid3(image_size=768) 可显著提升速度,精度几乎不降(默认 1024)
  2. 轻量骨干快速验证:build_insid3(model_size="base") 或 "small",显存与速度大幅提升
  3. 更精细的边界:build_insid3(mask_refiner="crf") 开启 CRF 精化,分辨率由 crf_size 控制(实现见 utils/refinement.py)
  4. 无 GPU 调试:build_insid3(device="cpu") 可在 CPU 上跑通全流程(速度较慢,建议小图调试)

📊 从 Demo 到官方数据集评测

想在基准数据集上评测,用 inference_segmentation.py 一条命令即可:

python inference_segmentation.py --dataset coco --exp-name insid3-coco

常用参数(定义见 opts.py):

  • --dataset:支持 coco、lvis、pascal_part、paco_part、isaid、isic、lung、suim、permis,覆盖自然、部件级、水下、医疗、航拍等 9 个数据集
  • --model-size:small / base / large
  • --shots:参考图数量(1-shot、5-shot 等)
  • --image-size:输入分辨率,调低可明显加速
  • --crf-mask-refinement:开启 CRF 掩码精化

数据集目录结构准备说明见 docs/data.md。

🔁 一句话理解位置去偏差,并试下水下场景匹配

INSID3 超越同类免训练方法的关键,在于发现 DINOv3 特征“还会对图像绝对位置起反应”——参考图中一个 patch 的相似度图,不仅在目标图语义对应处点亮,还会在图像左侧区域误点亮:

INSID3中DINOv3相似度图同时出现语义响应与位置响应

INSID3 用 SVD 定位该位置分量(svd_components 控制分量数),把特征投影到位置子空间的正交补上——保留语义、去掉位置干扰。这一思想同样适用于语义对应(keypoint matching):

INSID3原始DINOv3特征在船体关键点匹配中的结果 INSID3位置去偏差DINOv3特征的关键点匹配结果,误匹配显著减少

两行核心调用即可在自己的图上体验:

model = build_insid3(model_size='base', svd_components=20)
model.set_reference("assets/ref_boat.jpg")
model.set_target("assets/target_boat.jpg")
pred_kps = model.match([[417, 180]])   # 返回目标图中的关键点坐标

官方评测脚本为 inference_keypoint_matching.py(推荐参数 --debiased --image-size 768 --model-size base --svd-comps 20)。

❓ 常见报错速查

现象 原因与解决办法
权重 FileNotFoundError DINOv3 权重未放入 pretrain/ 目录
CUDA 版本不匹配报错 按 requirements.txt 安装匹配的 PyTorch(论文配置 CUDA 12.6)
推理太慢 调低 image-size 或换更小的 --model-size
掩码边缘粗糙 开启 --crf-mask-refinement 或 mask_refiner="crf"
CPU 报错 / 显存不足 传 device="cpu",或降低 image-size

✅ 总结

本文带你走完了 INSID3 快速入门全路径:克隆仓库 → 安装依赖 → 放置 DINOv3 权重 → 分割第一张猫 → 跑数据集评测。这个 CVPR 2026 Oral 工作的核心价值在于:单一冻结 DINOv3 骨干 + 免训练位置去偏差,在 9 个数据集上超越免训练与专用方法。没有本地 GPU?打开 README.md 里的 Colab Notebook 入口即可在线试用你自己的图片——10 分钟,你就能拿到第一个分割结果。

登录后查看全文
INSID3