INSID3原理深挖(二):层次聚类如何把密集特征变成物体与部件级区域
INSID3原理深挖(二):层次聚类如何把密集特征变成物体与部件级区域
INSID3 是一个 Training-free(免训练)In-Context Segmentation(上下文分割) 方法(CVPR 2026 Oral)。本文深挖 INSID3 的核心引擎——层次聚类(hierarchical clustering),讲清楚它如何仅凭一个冻结的 DINOv3 主干,把数千个密集 patch 特征变成物体级、部件级区域掩码,全程不训练、不加解码器。
1. 方法总览:DINOv3 的两大“超能力” 🔎
上一篇讲过:INSID3 站在 DINOv3 密集特征的两个性质上。其一是特征天然对场景形成结构化分解——同一物体部件的 patch 在特征空间里高度相似,不同部件则彼此分开;其二是特征受“绝对位置偏置”影响(图像同位置的 patch 会互相响应),INSID3 用 SVD 估计出该偏置所在的低维子空间,并投影到其正交补将其剔除。
上下文分割任务本身很简单:你只需给一张“参考图 + 掩码”和一张目标图,
INSID3 就要在目标图里找出对应的“猫”。但 1024×1024 的输入经 ViT 主干切分后会产生 4096 个 patch,逐 patch 判断“属于/不属于猫”既慢又噪。INSID3 的答案是:先把所有 patch 聚成少量语义一致的簇,再“按簇”做决策——这就是层次聚类模块。
2. 层次聚类核心:阈值驱动的凝聚式聚类 ⚙️
聚类实现非常简洁,位于 utils/clustering.py。INSID3 采用的是凝聚式聚类(自底向上的层次聚类):
- 构造距离矩阵:对所有 L2 归一化 patch 特征计算余弦相似度矩阵,并换算成距离
D = 1 − S; - 设定合并阈值:
distance_threshold = 1 − tau,两个簇之间的平均距离(average linkage)小于阈值才允许合并; - 超过阈值即停止:不预设簇的数量,结果的粒度完全由
tau决定。
ac = AgglomerativeClustering(
n_clusters=None, metric='precomputed',
linkage='average', distance_threshold=1.0 - tau,
)
两个设计要点值得注意:
- 阈值驱动,而非数量驱动:
n_clusters=None意味着“聚成几簇由数据自己说了算”。这正是方法免训练、跨数据集通用的关键——区域数量可以自然地从几十个变化到上百个; - 合并过程天然形成层次树:patch 先合并成小的部件簇,部件簇再合并成更大的物体簇,
tau相当于“在树的哪个高度切一刀”。切得高得到粗粒度的物体级区域,切得低得到细粒度的部件级区域。
默认 tau=0.6 的含义是:两簇 patch 的平均余弦相似度超过 0.6 才会被合并到一起。
3. 聚类结果解读:物体与部件“自发”浮现 🧩
上图为四组“原图 + 聚类结果”:厨房、消防栓、赛马、巴士。可以看到:
- 室内场景:橱柜、台面与背景被自然分成不同色块;
- 消防栓:栓体本身又被细分为顶部、柱身、底座等部件级区域;
- 马:头部、躯干、四肢与草地清晰分离;
- 巴士:车身、车窗与路面各自成簇。
这说明用于分割的物体级、部件级区域,其实早就“预置”在 DINOv3 特征里,INSID3 只需要“挑出正确的簇”。这也是 INSID3 能在不改架构的情况下,从物体级分割无缝扩展到部件级分割(PASCAL-Part、PACO-Part)的根本原因。
4. 从区域到掩码:三步完成种子选择与簇聚合 🎯
拿到区域只是第一步,还要决定哪些区域属于参考物体,这一步在 models/insid3.py#L311-L364 中完成,共三步。
第 1 步:前向 + 后向匹配,圈出候选区域。 取参考掩码内部去偏置特征的均值作为“参考原型”:目标图中与原型相似度为正的 patch 进入候选(前向匹配);同时让目标图每个 patch 回查参考图,多数 shot 的参考掩码投“是”才保留(后向匹配)。两者取交集,可剔除“看起来像、实际不是”的背景区域。
这里有个细节:INSID3 全程维护两套特征空间——跨图比较(参考 vs 目标)统一使用去偏置特征,因为必须消除位置偏置,才能可靠区分“同一个物体”和“同一个位置”:
而图内聚类与簇间一致性则使用原始特征,保留全部判别信息。
第 2 步:挑选种子簇。 在候选簇里,选出与参考原型相似度最高的那个作为“种子”,它锚定最终掩码的核心。
第 3 步:聚合其余簇。 每个簇的最终得分由三项相乘构成:
| 因子 | 计算空间 | 含义 |
|---|---|---|
cross_sim |
去偏置空间 | 该簇与参考原型的平均相似度(跨图匹配度) |
intra_sim |
原始特征空间 | 该簇原型与种子簇原型的相似度(内部一致性) |
area_weights |
— | 候选像素占簇面积的比例,作为可信度权重(种子簇固定为 1) |
只有综合得分超过 merge-thresh(默认 0.2)的簇才会并入最终掩码。这套“按分回收”机制让匹配阶段漏掉的部件(被遮挡、相似度低的区域)也能靠簇一致性补回来,这正是掩码完整连贯而不是碎成斑点的原因。
5. 调参建议:--tau 与 --merge-thresh 两个阈值怎么调 🎛️
相关超参数统一在 opts.py 中定义:
| 参数 | 默认值 | 作用 | 调节方向 |
|---|---|---|---|
--tau |
0.6 | 聚类合并阈值 | 调小 → 区域更细;调大 → 合并更粗 |
--merge-thresh |
0.2 | 簇聚合阈值 | 调小 → 掩码更大;调大 → 更保守 |
--image-size |
1024 | 输入分辨率 | 调低(如 768)可显著提速 |
--svd-comps |
500 | 位置去偏置子空间维度 | 影响上一篇的去偏置模块 |
两个阈值的直觉很简单:--tau 管区域怎么切,--merge-thresh 管掩码怎么合。场景中小物体偏多时,可先尝试调小 --tau 获得更细的簇;发现掩码缺块时,则尝试调小 --merge-thresh 多回收几个簇。数据集准备方式可参考 docs/data.md。
6. 小结 📌
- INSID3 用阈值驱动的凝聚式层次聚类,把密集 DINOv3 特征自动分解为物体级、部件级区域,区域数量由数据自身决定;
- “前向 + 后向匹配 → 种子簇 → 簇聚合”的三步流程,把逐簇筛选与按分回收结合,完成 特征 → 区域 → 掩码 的完整链路;
- 整个管线没有分割解码器、没有训练,仅凭单一冻结主干即可覆盖物体、部件与个性化分割等场景。
层次聚类核心代码见 utils/clustering.py,完整推理流程见 models/insid3.py,建议配合本文一起阅读。



