Smol Vision 项目使用教程

1. 项目目录结构及介绍

smol-vision/
├── .gitignore
├── ColPali_+_Qwen2_VL.ipynb
├── Faster_Zero_shot_Object_Detection_with_Optimum.ipynb
├── Faster_foundation_models_with_torch_compile.ipynb
├── Fine_tune_Florence_2.ipynb
├── Fine_tune_PaliGemma.ipynb
├── Fit_in_vision_models_using_quanto.ipynb
├── Idefics_FT.ipynb
├── LICENSE
├── PaliGemma_DPO.ipynb
├── README.md
├── Reduce_any_model_to_fp16_using_🤗_Optimum_DETR.ipynb
├── knowledge_distillation.md
└── train_idefics2.py

目录结构说明

• .gitignore: Git 忽略文件，用于指定不需要纳入版本控制的文件。
• ColPali_+_Qwen2_VL.ipynb: 多模态 RAG 示例笔记本。
• Faster_Zero_shot_Object_Detection_with_Optimum.ipynb: 使用 Optimum 进行快速零样本目标检测的示例笔记本。
• Faster_foundation_models_with_torch_compile.ipynb: 使用 torch.compile 加速基础模型的示例笔记本。
• Fine_tune_Florence_2.ipynb: 微调 Florence-2 模型的示例笔记本。
• Fine_tune_PaliGemma.ipynb: 微调 PaliGemma 模型的示例笔记本。
• Fit_in_vision_models_using_quanto.ipynb: 使用 Quanto 缩小视觉模型的示例笔记本。
• Idefics_FT.ipynb: 微调 IDEFICS 模型的示例笔记本。
• LICENSE: 项目许可证文件，采用 Apache-2.0 许可证。
• PaliGemma_DPO.ipynb: 微调 PaliGemma 模型的示例笔记本。
• README.md: 项目介绍和使用说明。
• Reduce_any_model_to_fp16_using_🤗_Optimum_DETR.ipynb: 使用 Optimum DETR 将模型量化为 fp16 的示例笔记本。
• knowledge_distillation.md: 知识蒸馏的介绍文档。
• train_idefics2.py: 训练 IDEFICS 模型的脚本。

2. 项目启动文件介绍

train_idefics2.py

train_idefics2.py 是用于训练 IDEFICS 模型的脚本。该脚本包含了模型训练的主要逻辑，可以通过命令行参数进行配置。

使用方法

python train_idefics2.py --config config.json

主要功能

• 模型训练: 提供了 IDEFICS 模型的训练功能。
• 参数配置: 支持通过命令行参数或配置文件进行参数配置。

3. 项目的配置文件介绍

config.json

配置文件 config.json 用于存储训练过程中的参数配置。该文件通常包含以下内容：

{
  "batch_size": 32,
  "learning_rate": 0.001,
  "num_epochs": 10,
  "data_path": "path/to/data",
  "model_save_path": "path/to/save/model"
}

配置项说明

• batch_size: 批处理大小，控制每次训练的样本数量。
• learning_rate: 学习率，控制模型参数更新的步长。
• num_epochs: 训练轮数，控制模型训练的总次数。
• data_path: 数据路径，指定训练数据的存储位置。
• model_save_path: 模型保存路径，指定训练完成后模型的保存位置。

通过配置文件，用户可以灵活地调整训练过程中的各项参数，以适应不同的训练需求。