AX-LLM项目安装与配置指南

1. 项目基础介绍

AX-LLM 是由爱芯元智主导开发的开源项目，旨在探索大型语言模型（LLM）在AXera AI芯片平台上部署的可行性和性能边界。该项目的目标是帮助社区开发者快速评估和二次开发自己的LLM应用。已支持的芯片包括AX650A/AX650N和AX630C等。

主要编程语言：C++、Python、CMake

2. 关键技术和框架

• AXera AI芯片平台：项目针对AXera系列AI芯片进行优化，包括AX650和AX630等型号。
• LLM编译器：支持Pulsar2 llm build，默认w8a16量化，能从Huggingface仓库直接转换模型，并支持自定义prompt仿真运行。
• 模型库：包含Qwen、MiniCPM、Llama等多种流行的大模型，支持在边缘设备上进行推理。
• 量化技术：采用量化技术降低模型大小，提高运行效率。

3. 安装和配置

准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖：

• Git
• CMake
• GCC (建议版本4.9或更高)
• Python (建议版本3.6或更高)
• pip

安装步骤

1. 克隆项目

   使用Git命令克隆项目到本地：

   git clone --recursive https://github.com/AXERA-TECH/ax-llm.git
   

   请确保使用--recursive参数以正确克隆所有子模块。

2. 设置环境变量

   根据您的系统环境，设置BSP_MSP_DIR环境变量以指向您的芯片支持包（BSP）目录。

   export BSP_MSP_DIR=/path/to/your/bsp/dir
   

3. 编译项目

   进入项目目录，并运行编译脚本：

   cd ax-llm
   ./build.sh
   

   编译脚本会根据您的芯片平台和配置编译相应的程序。

4. 验证安装

   编译完成后，在build/install/bin目录下应该有如下文件：

   install/bin/
   ├── main
   ├── run_bf16.sh
   └── run_qwen_1.8B.sh
   

   这意味着项目已经成功编译。

以上步骤为AX-LLM项目的详细安装和配置指南，按照上述步骤操作，即可完成项目的搭建。