DINOv3 dinov3-vitl16-pretrain-lvd1689m模型家族全景:ViT-S到ViT-7B共12个模型该如何选型
DINOv3 dinov3-vitl16-pretrain-lvd1689m模型家族全景:ViT-S到ViT-7B共12个模型该如何选型
DINOv3 是 Meta AI 推出的新一代自监督视觉基础模型(vision foundation model)家族,dinov3-vitl16-pretrain-lvd1689m 是其中基于 LVD-1689M 网络数据集预训练的 ViT-L/16 模型(300M 参数)。这个家族一共有 12 个模型,从 21M 的轻量级 ViT-S 到 6716M 的 ViT-7B,选型时很容易让人犯迷糊。本文带你一次看懂 DINOv3 模型家族的完整阵容,并给出 4 条实用的 DINOv3 选型规则,帮你快速挑到最合适的那一个。
一、DINOv3 是什么:不用微调就能打的视觉基础模型
DINOv3 通过自蒸馏 + iBOT 掩码重建等自监督目标训练,输入一张图片,就能输出一套高质量的稠密特征,覆盖:
- 📌 图像分类(k-NN、逻辑回归、单层线性层,零样本即可)
- 🔎 图像检索(最近邻匹配)
- 🗺️ 语义分割与深度估计(线性探针)
- 🎯 几何/语义 3D 关键点匹配
- 🎬 无监督目标发现、视频分割跟踪、视频分类
所有 Transformer 模型采用 patch size = 16 的 ViT 架构:对 224×224 输入,输出 1 个 class token + 4 个 register tokens + 196 个 patch tokens = 201 个 token,比上一代 DINOv2 的 261 个 token 更紧凑。
💡 官方建议:优先直接使用冻结特征(frozen features),微调只作为最后手段——开箱即用的效果已经很好。
二、DINOv3 模型全家桶:12 个模型一览
DINOv3 家族共 12 个模型,按预训练数据分两组(详见 README.md#L44-L52):
1️⃣ 网络数据组(LVD-1689M,16.89 亿张图像,共 10 个)
| 模型 | 参数量 | 隐藏维度 | 注意力头 | FFN | 训练方式 |
|---|---|---|---|---|---|
| ViT-S/16 | 21M | 384 | 6 | MLP | 蒸馏自 ViT-7B |
| ViT-S+/16 | 29M | 384 | 6 | SwiGLU | 蒸馏自 ViT-7B |
| ViT-B/16 | 86M | 768 | 12 | MLP | 蒸馏自 ViT-7B |
| ViT-L/16 ⭐ | 300M | 1024 | 16 | MLP | 蒸馏自 ViT-7B |
| ViT-H+/16 | 840M | 1280 | 20 | SwiGLU | 蒸馏自 ViT-7B |
| ViT-7B/16 | 6716M | 4096 | 32 | SwiGLU | 从头训练(教师模型) |
| ConvNeXt-T | 29M | — | — | — | 蒸馏自 ViT-7B |
| ConvNeXt-S | 50M | — | — | — | 蒸馏自 ViT-7B |
| ConvNeXt-B | 89M | — | — | — | 蒸馏自 ViT-7B |
| ConvNeXt-L | 198M | — | — | — | 蒸馏自 ViT-7B |
⭐ 带星号的 dinov3-vitl16-pretrain-lvd1689m 就是当前仓库中的这个模型。
2️⃣ 卫星数据组(SAT-493M,4.93 亿张 0.6 米分辨率遥感图,共 2 个)
| 模型 | 参数量 | 训练方式 | 典型用途 |
|---|---|---|---|
| 卫星版 ViT-7B/16 | 6716M | 从头训练 | 遥感分类/分割 |
| 卫星版 ViT-L/16 | 300M | 蒸馏自卫星版 ViT-7B | 遥感轻量部署 |
三、DINOv3 选型指南:4 条规则快速对号入座
规则 1:算力吃紧?选 ViT-S(21M)或 ConvNeXt-T(29M)
在消费级 GPU 甚至边缘设备上就能跑。零样本 k-NN 分类(IN-ReaL)可达 87.0,密度任务(ADE20k 分割)约 47.0,足以应付大多数演示和低延迟场景。
规则 2:通用图像理解?ViT-L 是性价比之王 ⭐
这是本文推荐大多数人直接使用 dinov3-vitl16-pretrain-lvd1689m 的理由:
- 零样本分类 IN-ReaL:90.2,已非常接近 7B 大模型的 90.4
- 深度估计 NYU:0.352,与更大的 H+、7B 基本持平
- 参数量只有 7B 的 4.5%,单张普通 GPU 即可推理
ViT-L 往上,边际收益迅速递减:ViT-H+(840M)仅多拿 0.1 分,ViT-7B 也只比 ViT-L 高 0.2 分——但参数量翻了 20 多倍(各型号完整基准见 README.md#L173-L273)。
规则 3:追求稠密任务极限精度?上 ViT-7B
如果做深度估计(NYU 0.309,全系列最低)、检索(SPair 58.7)等稠密任务且不差算力,ViT-7B 是天花板。但请注意:它 6716M 参数、需多卡推理(官方训练花了 61,440 小时 H100 算力),普通团队慎用。
规则 4:做遥感/卫星影像?必须选卫星数据组模型
在 GEO-Bench 遥感基准上,卫星版 ViT-L 分类平均 79.6、分割平均 74.5,明显适合土地覆盖分类、作物/森林识别等场景。通用网络数据组模型在遥感任务上并非最优解。
🧭 一句话总结:默认 ViT-L,显存紧张选 ViT-S,不差钱选 ViT-7B,玩遥感换卫星版。
四、快速上手:3 步跑通 dinov3-vitl16
第 1 步:安装依赖
pip install transformers torch
第 2 步:获取模型权重
git clone https://gitcode.com/hf_mirrors/camenduru/dinov3-vitl16-pretrain-lvd1689m
仓库内包含完整的模型配置:
| 文件 | 作用 |
|---|---|
| config.json | 模型结构:24 层、隐藏维度 1024、16 头、patch 16、4 个 register tokens |
| preprocessor_config.json | 预处理参数:输入 224×224、ImageNet 均值/方差归一化 |
| model.safetensors | 模型权重(ViT-L 约 1.2GB,float32) |
| LICENSE.md | DINOv3 License 全文 |
第 3 步:两行代码提取图像特征
from transformers import pipeline
from transformers.image_utils import load_image
featurizer = pipeline(model="facebook/dinov3-vitl16-pretrain-lvd1689m",
task="image-feature-extraction")
features = featurizer(load_image("your_image.jpg"))
拿到特征后,接一个 k-NN 或线性层即可完成分类/检索(完整示例见 README.md#L102-L141)。
⚠️ 两个常见小坑:
- 输入尺寸必须是 16 的整数倍,否则模型会自动裁剪到最近的合法尺寸
- 支持输入更大分辨率(如 336×336),稠密任务下通常效果更好
五、许可证注意事项:DINOv3 License
DINOv3 采用的是 Meta 定制的 DINOv3 License(非标准开源协议,全文见 LICENSE.md),要点如下:
- ✅ 免费、全球范围内可使用、复制、分发和修改,可产生衍生作品
- ✅ 允许商业用途
- ⚠️ 分发模型或衍生作品时必须附带许可证全文
- ⚠️ 受出口管制约束,禁止用于军事、核工业、间谍活动等受限用途
- ⚠️ 基于 DINOv3 发表研究成果时,需注明使用了 DINO Materials
总结
DINOv3 用 12 个不同尺度的模型覆盖了从手机端到超算集群的全部场景。对绝大多数开发者而言,dinov3-vitl16-pretrain-lvd1689m(ViT-L)就是最均衡的选择:以 300M 参数换来逼近 7B 旗舰的精度,冻结特征即可零样本工作,是当前做图像分类、检索、分割等任务的性价比之选。