Maya: 多模态多语言模型的安装与使用指南

1. 项目介绍

Maya 是一个基于 Aya 模型的多模态多语言大型语言模型。它支持包括英语、中文、法语、西班牙语、俄语、日语、阿拉伯语和印地语在内的八种语言。Maya 通过对多种数据模态（如图像、文本）的处理，能够提供丰富的跨模态理解能力。本项目旨在提供一个易于使用的多语言多模态模型，以促进多语言应用的开发和研究。

2. 项目快速启动

环境准备

在开始之前，请确保您的系统中已安装了以下环境：

• CUDA 版本：12.4
• Python 版本：3.10

克隆仓库

首先，克隆此仓库并导航到 maya 目录：

git clone https://github.com/nahidalam/maya.git
cd maya

安装依赖

创建并激活一个名为 maya 的 conda 环境，然后安装必要的 Python 包：

conda create -n maya python=3.10 -y
conda activate maya
pip install --upgrade pip
pip install -e .

如果需要训练模型，还需要安装额外的训练相关包：

pip install -e ".[train]"
pip install flash-attn==2.6.3 --no-build-isolation --no-cache-dir

模型权重和数据集

模型权重和数据集需要从 HuggingFace 下载。具体步骤请参考项目仓库中的 Model Weights and Dataset 部分。

3. 应用案例和最佳实践

以下是使用 Maya 模型的一些应用案例和最佳实践：

预训练

使用提供的脚本进行预训练。预训练数据集和图像可以从指定的 HuggingFace 链接下载。

bash scripts/maya/pretrain_aya_siglip.sh

指令微调

下载必要的注释和图像数据集后，使用以下脚本进行指令微调：

bash scripts/maya/finetune_aya_siglip.sh

评估

使用提供的评估脚本对模型进行多语言评估。确保下载了评估数据集并按照指定结构组织。

bash scripts/v1_5/eval/eval_all_languages.sh "model_base" "model_path" "model_name" "your-openai-api-key"

4. 典型生态项目

目前，Maya 模型作为一个开源项目，已经有一些典型的生态项目在使用它。以下是一些例子：

• 多语言问答系统：使用 Maya 模型处理多语言输入并返回答案。
• 图像描述生成：结合图像输入和文本生成能力，为图片生成描述。
• 多语言聊天机器人：构建支持多种语言交流的聊天机器人。

通过这些案例，开发者可以更好地理解如何将 Maya 模型应用于实际项目中。