AX-LLM 使用指南

1. 项目介绍

AX-LLM 是由爱芯元智主导开发的开源项目，旨在探索大型语言模型（LLM）在 AXera AI 芯片平台上的落地可行性和相关能力边界。该项目的目标是为社区开发者提供便利，以快速评估和二次开发基于 AXera 芯片平台的 LLM 应用。

2. 项目快速启动

环境准备

• 确保您的系统中已安装 Git。
• 准备相应的 SDK 环境，具体版本要求请参考项目 Readme 文件。

克隆项目

git clone --recursive https://github.com/AXERA-TECH/ax-llm.git
cd ax-llm

编译项目

仔细阅读 build.sh 脚本，并根据脚本中的指引正确修改 BSP_MSP_DIR 变量。修改完成后，运行以下编译命令：

./build.sh

编译成功后，build/install/bin 目录下应包含以下文件：

$ tree install/bin/
install/bin/
├── main
├── run_bf16.sh
└── run_qwen_1.8B.sh

运行示例

以下为运行 Qwen2.5-0.5B 模型的示例：

root@ax650:llm-test/qwen2.5-0.5B# ./run_qwen2.5_0.5B_prefill_ax650.sh

运行后，根据控制台提示操作即可。

3. 应用案例和最佳实践

案例一：Qwen 模型运行

在 ax-llm 项目中，已经提供了 Qwen 系列模型的运行脚本，开发者可以参考这些脚本，了解如何在自己的应用中部署和运行 Qwen 模型。

最佳实践

• 在进行模型部署前，确保已经对 SDK 环境进行了正确的配置。
• 利用项目提供的 Benchmark 数据，对模型的性能进行初步评估。
• 根据具体应用场景，合理选择和配置模型参数。

4. 典型生态项目

AX-LLM 作为探索 LLM 在 AXera 芯片平台上应用的项目，可以与以下典型生态项目结合：

• AXera SDK：为开发者提供芯片级支持和优化。
• Huggingface：利用丰富的开源模型库，进行模型的选择和迁移学习。
• Transformer：基于 Transformer 架构的模型，可以与 AX-LLM 结合，实现高性能的语言处理任务。

通过上述指南，开发者可以快速上手 AX-LLM 项目，并在实际应用中进行深入的探索和开发。