INSID3快速入门:10分钟上手免训练图像分割,首次运行完整指南(附Colab Demo)
INSID3快速入门:10分钟上手免训练图像分割,首次运行完整指南(附Colab Demo)
INSID3 是一个基于 DINOv3 的免训练(training-free)上下文图像分割方法:无需微调、无需额外分割解码器,只用一个冻结的 DINOv3 骨干网络即可完成分割。本文将带你从环境搭建到第一次分割出目标图像,完整跑通 INSID3 首次运行全流程;没有 GPU 也可以直接用官方 Colab 在线 Demo。
🚀 INSID3 是什么?为什么说“免训练”很重要
传统图像分割模型通常要依赖大规模标注数据从头训练,而 INSID3 采用**上下文分割(in-context segmentation)**范式:给模型一张带掩码的参考图当“示例”,它就能在新目标图上直接分割出同类物体,就像人“看例子学分割”一样。
更关键的是,INSID3 做到了彻底免训练:
- 无需微调:DINOv3 骨干全程冻结,不更新任何参数
- 无需分割解码器:不引入额外网络模块
- 无需辅助模型:单一骨干完成全部推理
它的能力来自两个关于 DINOv3 特征的关键发现:
- 稠密特征天然诱导结构分解——对特征做聚类,无需监督即可得到物体级、部件级区域;
- 特征还响应图像的绝对位置——INSID3 发现这种位置偏差藏在稳定的低维子空间里,并通过免训练投影将其移除,让特征更可靠。
🛠 环境搭建三步走(约 5 分钟)
1. 克隆仓库
git clone https://gitcode.com/gh_mirrors/in/INSID3
cd INSID3
2. 安装依赖
提供 Conda 与 uv 两种方式,二选一即可:
方式 A:Conda(论文参考配置为 PyTorch 2.7.1 + CUDA 12.6)
conda create --name insid3 python=3.10 -y
conda activate insid3
pip install -r requirements.txt
方式 B:uv(自动创建 .venv 虚拟环境并安装 pyproject.toml 中的依赖,可选 CRF 依赖已包含)
uv sync
source .venv/bin/activate
核心依赖见 requirements.txt:torch、torchvision、einops、scikit-learn 等。
💡 如需 CRF 掩码精化(可选),请按照 README.md 中的说明额外安装 CRF 库。
3. 准备 DINOv3 预训练权重
INSID3 依赖冻结的 DINOv3 骨干,需从 DINOv3 官方仓库下载预训练权重,并放入项目的 pretrain/ 目录:
mkdir -p pretrain
默认使用 Large 模型(dinov3_vitl16_pretrain_lvd1689m-8aa4cbdd.pth)。small / base / large 三种尺寸与对应权重文件的映射定义在 models/init.py 中。
🐱 10 分钟首次运行:分割第一张猫
仓库 assets/ 目录内置了现成的猫示例:参考图、参考掩码和目标图。
新建一个 quickstart.py,内容如下(官方最小示例):
from models import build_insid3
from utils.visualization import visualize_prediction_segmentation as visualize
ref_image_path, ref_mask_path = "assets/ref_cat_image.jpg", "assets/ref_cat_mask.png"
target_image_path = "assets/target_cat_image.jpg"
output_path = "target_cat_pred.png"
model = build_insid3() # 构建模型,加载冻结DINOv3
model.set_reference(ref_image_path, ref_mask_path) # 设置参考图与掩码
model.set_target(target_image_path) # 设置目标图
pred_mask = model.segment() # 执行分割
visualize(ref_image_path, ref_mask_path, target_image_path,
pred_mask, output_path)
运行:
python quickstart.py
当前目录会生成 target_cat_pred.png——目标图中的猫被高亮标出。四个核心 API 非常直观,实现见 models/insid3.py:
| API | 作用 |
|---|---|
build_insid3() |
构建模型,加载冻结 DINOv3 权重 |
set_reference(img, mask) |
提供“示例”,可多次调用实现 1-shot / 5-shot |
set_target(img) |
提供待分割图像 |
segment() |
输出预测掩码 |
⚡ 首次运行的 4 个提速技巧
- 降低分辨率提速:
build_insid3(image_size=768)可显著提升速度,精度几乎不降(默认 1024) - 轻量骨干快速验证:
build_insid3(model_size="base")或"small",显存与速度大幅提升 - 更精细的边界:
build_insid3(mask_refiner="crf")开启 CRF 精化,分辨率由crf_size控制(实现见 utils/refinement.py) - 无 GPU 调试:
build_insid3(device="cpu")可在 CPU 上跑通全流程(速度较慢,建议小图调试)
📊 从 Demo 到官方数据集评测
想在基准数据集上评测,用 inference_segmentation.py 一条命令即可:
python inference_segmentation.py --dataset coco --exp-name insid3-coco
常用参数(定义见 opts.py):
--dataset:支持coco、lvis、pascal_part、paco_part、isaid、isic、lung、suim、permis,覆盖自然、部件级、水下、医疗、航拍等 9 个数据集--model-size:small/base/large--shots:参考图数量(1-shot、5-shot 等)--image-size:输入分辨率,调低可明显加速--crf-mask-refinement:开启 CRF 掩码精化
数据集目录结构准备说明见 docs/data.md。
🔁 一句话理解位置去偏差,并试下水下场景匹配
INSID3 超越同类免训练方法的关键,在于发现 DINOv3 特征“还会对图像绝对位置起反应”——参考图中一个 patch 的相似度图,不仅在目标图语义对应处点亮,还会在图像左侧区域误点亮:
INSID3 用 SVD 定位该位置分量(svd_components 控制分量数),把特征投影到位置子空间的正交补上——保留语义、去掉位置干扰。这一思想同样适用于语义对应(keypoint matching):
两行核心调用即可在自己的图上体验:
model = build_insid3(model_size='base', svd_components=20)
model.set_reference("assets/ref_boat.jpg")
model.set_target("assets/target_boat.jpg")
pred_kps = model.match([[417, 180]]) # 返回目标图中的关键点坐标
官方评测脚本为 inference_keypoint_matching.py(推荐参数 --debiased --image-size 768 --model-size base --svd-comps 20)。
❓ 常见报错速查
| 现象 | 原因与解决办法 |
|---|---|
权重 FileNotFoundError |
DINOv3 权重未放入 pretrain/ 目录 |
| CUDA 版本不匹配报错 | 按 requirements.txt 安装匹配的 PyTorch(论文配置 CUDA 12.6) |
| 推理太慢 | 调低 image-size 或换更小的 --model-size |
| 掩码边缘粗糙 | 开启 --crf-mask-refinement 或 mask_refiner="crf" |
| CPU 报错 / 显存不足 | 传 device="cpu",或降低 image-size |
✅ 总结
本文带你走完了 INSID3 快速入门全路径:克隆仓库 → 安装依赖 → 放置 DINOv3 权重 → 分割第一张猫 → 跑数据集评测。这个 CVPR 2026 Oral 工作的核心价值在于:单一冻结 DINOv3 骨干 + 免训练位置去偏差,在 9 个数据集上超越免训练与专用方法。没有本地 GPU?打开 README.md 里的 Colab Notebook 入口即可在线试用你自己的图片——10 分钟,你就能拿到第一个分割结果。






