MobileLLM项目安装与配置指南

1. 项目基础介绍

MobileLLM是一个为了在设备端使用场景优化小于十亿参数的语言模型的开源项目。该项目在ICML 2024上发表，其目标是通过综合考量多种设计因素，获得高质量的小型语言模型。MobileLLM采用了SwiGLU激活函数、深且瘦的架构、嵌入共享和分组查询注意力机制等技术。

主要编程语言：Python

2. 关键技术和框架

• SwiGLU激活函数：一种高效的激活函数，用于提升模型性能。
• 深且瘦的架构：通过增加模型的深度同时减少参数量，达到优化模型的目的。
• 嵌入共享：减少参数量，同时保持模型的表达能力。
• 分组查询注意力：优化注意力机制，提升计算效率。

使用框架：PyTorch

3. 安装和配置准备工作

在开始安装之前，请确保您的系统中已经安装了以下环境和依赖：

• Python 3.9或更高版本
• PyTorch >= 2.0
• Git

如果尚未安装，您可以使用以下命令安装PyTorch：

pip install torch torchvision torchaudio

安装步骤

1. 克隆项目仓库：

git clone https://github.com/facebookresearch/MobileLLM.git
cd MobileLLM

2. 安装项目依赖：

pip install -r requirement.txt

3. 数据预处理：

   将数据集进行分词处理，并将处理后的数据按照以下结构组织：

   basepath/
   1/
   xxx.jsonl
   2/
   xxx.jsonl
   ...
   #nodes/
   xxx.jsonl
   

   每个jsonl文件中的每一行都是一个包含token_ids的键值对。

4. 开始训练：

   使用提供的pretrain.sh脚本来启动训练。您可能需要根据您的多节点配置修改--nnodes参数和其他设置。

   bash pretrain.sh
   

   在pretrain.sh脚本中，指定--train_data_local_path为预处理后的数据路径，并设置--input_model_filename指向./configs/{model_size}/。

5. 模型评估：

   下载预训练模型并更新eval.sh脚本中的模型检查点路径。

   bash eval.sh
   

以上步骤为MobileLLM项目的详细安装和配置指南，按照这些步骤操作，您可以成功搭建并运行该项目。