LMM-R1 使用与启动教程

1. 项目介绍

LMM-R1 是一个基于 OpenRLHF 的开源项目，致力于提升小型 3B 大型多模态模型（LMMs）的推理能力。该项目通过一种两阶段的规则基础强化学习框架，有效地增强了模型的推理能力。第一阶段，基础推理增强（FRE），使用纯文本数据构建坚实的推理基础；第二阶段，多模态泛化训练（MGT），将这些能力扩展到多模态领域。

2. 项目快速启动

首先，您需要克隆项目仓库并安装必要的依赖。

git clone https://github.com/TideDra/lmm-r1.git
cd lmm-r1
pip install -e .[vllm]
pip install flash_attn --no-build-isolation

请注意，建议使用 vLLM 0.7.2 或更高版本。

接下来，准备您的数据集。LMM-R1 需要多模态提示数据集，格式需符合 OpenAI 兼容的消息格式。以下是一个示例数据集的结构：

[
    {
        "message": "[{\"role\": \"user\", \"content\": [{\"type\": \"image\", \"image\": \"file:///path/to/your/image.jpg\"}, {\"type\": \"text\", \"text\": \"How many cats in the image?\"}]}]",
        "answer": "$3$"
    }
]

然后，您可以开始训练模型。以下是一个训练脚本的例子：

# 基础推理增强（FRE-Text）
bash examples/scripts/lmm_r1/train_fre_text.sh

# 多模态泛化训练（MGT-Geo）
bash examples/scripts/lmm_r1/train_mgt_geo.sh

每个脚本都有其特定的训练目的和数据集。

3. 应用案例和最佳实践

LMM-R1 可以应用于多种场景，例如几何问题解决、图像理解等。最佳实践建议首先使用文本数据建立坚实的推理基础，然后逐渐引入多模态数据进行训练，以提高模型在真实世界应用中的表现。

• 案例：使用 LMM-R1 进行几何问题解决时，可以先通过 FRE-Text 脚本训练模型，然后再使用 MGT-Geo 脚本进行几何推理的泛化训练。
• 最佳实践：在训练过程中，建议使用分布式训练和 Ray-based 强化微调来加速训练过程。

4. 典型生态项目

LMM-R1 是 OpenRLHF 生态系统的一部分，与 DeepSeek、open-r1 和 simpleRL-reason 等项目有着紧密的联系。这些项目共同为提升多模态模型的推理能力提供了丰富的工具和资源。

通过遵循以上步骤，您可以快速上手并使用 LMM-R1 项目，开始提升您的多模态模型的推理能力。