Visual-RFT项目在Flower102数据集上的复现经验与技术分析

背景介绍

Visual-RFT是一个基于视觉语言模型的强化学习框架，旨在通过少量样本(few-shot)学习提升模型在视觉分类任务中的表现。该项目采用了Qwen2-VL-2B-Instruct等大型视觉语言模型作为基础，通过GRPO(Group Relative Policy Optimization)算法进行微调。

复现过程中的关键发现

初始复现结果差异

在Flower102数据集(包含102类花卉)的4-shot设置下，初始复现结果(准确率8.93%)与论文报告结果存在显著差距。经过排查发现，问题主要出在提示词(prompt)设计上。

提示词优化方案

原始提示词可能未能有效引导模型输出结构化结果。改进后的提示词明确要求模型：

1. 在标签中输出推理过程
2. 在标签中输出最终答案
3. 严格遵循指定格式

优化后的提示词显著提升了模型表现，准确率达到69.27%，与预期结果相符。

技术实现要点

训练配置

项目采用分布式训练框架，关键参数包括：

• 基础模型：Qwen2-VL-2B-Instruct
• 批处理大小：1(per device)
• 梯度累积步数：2
• 训练轮次：8
• 优化算法：GRPO
• 硬件加速：BF16混合精度训练

数据处理

• 使用4-shot学习设置
• 最大像素数限制为401408
• 每轮生成8个样本增强数据多样性

经验总结

1. 提示工程的重要性：在视觉语言模型中，提示词设计对模型表现有决定性影响，需要明确输出格式要求。

2. 分布式训练技巧：项目采用torchrun进行多节点分布式训练，需要注意主节点地址和端口配置。

3. 调试建议：开启DEBUG_MODE可以观察模型在强化学习过程中的rollout情况，有助于问题诊断。

4. 性能优化：使用flash_attention_2实现注意力机制，能显著提升训练效率。

应用价值

该技术方案特别适合小样本视觉分类场景，如：

• 植物种类识别
• 医学影像分析
• 工业质检等专业领域

通过合理的提示工程和强化学习微调，可以在保持预训练模型通用能力的同时，显著提升其在特定领域的表现。

后续研究方向

1. 探索更多样化的提示词模板对模型性能的影响
2. 研究不同few-shot设置下的表现变化规律
3. 优化GRPO算法在视觉任务中的超参数配置