MobileCLIP 项目使用说明

1. 项目目录结构及介绍

MobileCLIP 项目是一个开源项目，旨在通过多模态强化训练实现快速图像-文本模型。项目的目录结构如下：

• docs/: 存放项目文档。
• eval/: 包含评估模型性能的脚本。
• ios_app/: 包含构建 iOS 应用的代码。
• mobileclip/: 包含模型训练和推理的核心代码。
• results/: 存放实验结果。
• training/: 包含模型训练的脚本和数据准备代码。
• .gitignore: 指定 Git 忽略的文件。
• ACKNOWLEDGEMENTS: 记录项目依赖的开源贡献和许可信息。
• CODE_OF_CONDUCT.md: 项目的行为准则。
• CONTRIBUTING.md: 指导如何为项目做贡献。
• LICENSE: 项目使用的许可证。
• LICENSE_weights_data: 权重和数据使用的许可证。
• README.md: 项目说明文件。
• get_pretrained_models.sh: 脚本用于下载预训练模型。
• hf_dataset_example.py: 使用 HuggingFace 数据集的示例。
• requirements.txt: 项目依赖的 Python 包。
• setup.py: 设置项目环境的 Python 脚本。

2. 项目的启动文件介绍

项目的启动主要通过 setup.py 文件进行，该文件用于创建 Python 虚拟环境并安装项目所需的依赖。以下是启动项目的步骤：

conda create -n clipenv python=3.10
conda activate clipenv
pip install -e .

安装完成后，可以通过以下命令下载预训练模型：

source get_pretrained_models.sh

3. 项目的配置文件介绍

项目中的配置主要通过 Python 脚本中的参数设置进行。例如，在模型推理示例中，以下代码片段展示了如何加载模型和执行推理：

import torch
from PIL import Image
import mobileclip
model, preprocess = mobileclip.create_model_and_transforms('mobileclip_s0', pretrained='/path/to/mobileclip_s0.pt')
tokenizer = mobileclip.get_tokenizer('mobileclip_s0')
image = preprocess(Image.open("docs/fig_accuracy_latency.png").convert('RGB')).unsqueeze(0)
text = tokenizer(["a diagram", "a dog", "a cat"])
with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)
    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)
print("Label probs:", text_probs)

以上代码展示了如何创建模型、加载预训练权重、处理图像和文本数据，以及执行推理并打印出结果。项目的配置文件和脚本允许用户根据需要调整模型和数据处理流程。