如何10分钟跑通tipsv1-g14:从零安装到首次推理的完整新手教程
如何10分钟跑通tipsv1-g14:从零安装到首次推理的完整新手教程
tipsv1-g14 是 Google 开源的 TIPS(ICLR 2025)图文对比视觉语言模型中最大规模的 g/14 版本:1.1B 视觉参数 + 389M 文本参数,原生 448×448 分辨率、1536 维嵌入。它能在不训练的情况下完成零样本图像分类,还能输出带空间信息的逐 patch 特征。本文带你用 10 分钟走完「安装 → 加载 → 首次推理」全流程 🚀
tipsv1-g14 是什么?三大核心能力
TIPS(Text-Image Pre-training with Spatial awareness)是一族对比学习训练的视觉语言模型,把图像和文本编码到同一嵌入空间,并且保留丰富的空间特征(spatially rich features)。
| 核心能力 | 说明 |
|---|---|
| 🔍 零样本图像分类 | 只需给出类别文字描述,无需标注数据即可分类 |
| 🧩 空间感知特征 | patch_tokens 输出 1024 个 patch 级特征,可定位"图中哪里" |
| 📐 图文嵌入对齐 | 图像/文本统一为 1536 维向量,可算相似度做检索 |
模型架构为 ViT-g/14 视觉编码器(40 层、patch size 14、双 CLS token)+ 12 层 Transformer 文本编码器,实现代码见 modeling_tips.py、image_encoder.py 与 text_encoder.py。
最快安装步骤:一条命令装好依赖
模型通过 HuggingFace transformers 的 trust_remote_code 机制加载(配置定义在 configuration_tips.py),只需安装 5 个依赖:
pip install transformers torch torchvision sentencepiece scikit-learn requests
💡
sentencepiece用于加载随仓库打包的分词器 tokenizer.model;scikit-learn用于后文的空间特征可视化。
10分钟跑通首次推理:加载模型并编码图像
第 1 步:加载模型(约 1~2 分钟,首次会下载权重)
from transformers import AutoModel
model = AutoModel.from_pretrained("google/tipsv1-g14", trust_remote_code=True)
model.eval()
第 2 步:编码图像
注意:图像只需缩放到 448×448 并归一化到 0, 1],不需要 ImageNet 均值方差归一化(这一点在 [processor_config.json 中也有体现:do_normalize: false)。
import requests
from PIL import Image
from torchvision import transforms
url = "https://huggingface.co/spaces/google/TIPSv2/resolve/main/examples/zeroseg/pascal_context_00049_image.png"
image = Image.open(requests.get(url, stream=True).raw).convert("RGB")
transform = transforms.Compose([transforms.Resize((448, 448)), transforms.ToTensor()])
pixel_values = transform(image).unsqueeze(0)
out = model.encode_image(pixel_values)
print(out.cls_token.shape) # (1, 1, 1536) — 全局图像嵌入
print(out.patch_tokens.shape) # (1, 1024, 1536) — 逐 patch 空间特征
💡 模型有两个 CLS token:第一个
cls_token(在网页 alt-text 上训练)与文本塔对齐,做分类请用它;第二个register_tokens是在合成描述上训练的。
第 3 步:零样本图像分类
把候选类别写成文字,与图像嵌入算相似度,取最大值即为预测结果:
import torch.nn.functional as F
classes = ["bus", "car", "dog", "cat"]
cls = F.normalize(out.cls_token[:, 0, :], dim=-1)
text_emb = F.normalize(model.encode_text(classes), dim=-1)
similarity = cls @ text_emb.T
print(classes[similarity.argmax()]) # 预测类别
第 4 步:可视化空间特征(TIPS 的招牌能力)
用 PCA 把 1024 个 patch 特征压到 3 通道,即可得到一张 32×32 的"空间注意力图",直观看到模型在关注画面哪个区域:
import numpy as np
from sklearn.decomposition import PCA
feat = out.patch_tokens[0].detach().cpu().numpy()
rgb = PCA(n_components=3, whiten=True).fit_transform(feat).reshape(32, 32, 3)
rgb = 1 / (1 + np.exp(-2.0 * rgb)) # sigmoid 映射到 [0, 1],对比度更好
常见问题与模型选型建议
- 显存不够? g/14 有 1.1B 视觉参数,建议 GPU 显存 ≥ 10GB;显存有限时可换用小一号的 tipsv1-s14(22M)/ tipsv1-b14(86M)/ tipsv1-l14(304M)。
- 图像尺寸? 原生分辨率 448;其他 14 的整数倍尺寸也可通过位置编码插值使用,低分辨率场景可关注 tipsv1-g14-lowres(224)。
- 文本预处理? 自动小写化、最长 64 个 token,无需手动处理。
- 完整 API 说明:详见 README.md 的 Usage 章节;配置参数见 config.json。
至此,你已用约 10 分钟完成了 tipsv1-g14 的安装与首次推理 ✅。接下来可以把它用作特征提取器,做图像检索、开放词汇检测或下游微调。