VL-Rethinker 开源项目最佳实践教程

1. 项目介绍

VL-Rethinker 是由 TIGER-AI-Lab 开发的一个开源项目，旨在通过强化学习激励视觉语言模型的自我反思能力，从而提升其在数学和科学等领域的推理能力。该项目改进了 GRPO 算法，并引入了一种名为选择性样本重放（Selective Sample Replay, SSR）的技术，以及强制反思（Forced Rethinking）策略，以促进模型在多模态推理任务中的表现。

2. 项目快速启动

要快速启动 VL-Rethinker 项目，你需要遵循以下步骤：

首先，确保你已经安装了必要的依赖项。以下是安装依赖的示例代码：

pip install -r requirements.txt

接着，你可以使用以下代码来加载模型并执行简单的推理：

from transformers import Qwen2_5_VLForConditionalGeneration, AutoProcessor
from qwen_vl_utils import process_vision_info

# 加载模型
model = Qwen2_5_VLForConditionalGeneration.from_pretrained("TIGER-Lab/VL-Rethinker-7B")

# 设置处理器
min_pixels = 256 * 28 * 28
max_pixels = 1280 * 28 * 28
processor = AutoProcessor.from_pretrained("TIGER-Lab/VL-Rethinker-7B", min_pixels=min_pixels, max_pixels=max_pixels)

# 准备输入数据
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "image": "path/to/your/image.jpg"},
            {"type": "text", "text": "Describe this image."},
        ],
    },
]

# 应用聊天模板
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

# 处理视觉信息
image_inputs, video_inputs = process_vision_info(messages)

# 准备模型输入
inputs = processor(text=[text], images=image_inputs, videos=video_inputs, padding=True, return_tensors="pt")
inputs = inputs.to(model.device)

# 生成输出
generated_ids = model.generate(**inputs, max_new_tokens=128)

# 解码生成结果
generated_ids_trimmed = [out_ids[len(in_ids):] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
output_text = processor.batch_decode(generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False)

print(output_text)

确保将 path/to/your/image.jpg 替换为你的图片文件的路径。

3. 应用案例和最佳实践

在使用 VL-Rethinker 时，以下是一些最佳实践：

• 在提示（prompt）中明确指出你希望模型执行的任务，例如：“请逐步推理，并将最终答案放在 \boxed{} 中。”
• 根据模型训练的配置，调整图片的分辨率。建议的分辨率为 min_pixels = 256*28*28 和 max_pixels = 1280*28*28。

4. 典型生态项目

VL-Rethinker 是一个活跃的开源项目，其生态系统包括了多个相关项目，例如：

• OpenRLHF: 一个用于强化学习的高效框架，VL-Rethinker 使用此框架进行训练。
• Qwen2.5-VL: 一个基础的视觉语言模型，VL-Rethinker 在此模型的基础上进行改进。

通过参与这些项目，你可以进一步了解视觉语言模型的开发和优化。