Llama4micro 项目下载与安装教程

1. 项目介绍

Llama4micro 是一个在微控制器上运行的“大型”语言模型项目。该项目使用 Coral Dev Board Micro 开发板，并基于 FreeRTOS 工具链。Llama4micro 旨在在资源受限的设备上实现语言模型的推理，使用 800 MHz Arm Cortex-M7 CPU 核心和 Edge TPU 进行图像分类。

2. 项目下载位置

项目托管在 GitHub 上，下载地址为：https://github.com/maxbbraun/llama4micro.git

3. 项目安装环境配置

环境要求：

• Coral Dev Board Micro 开发板
• Coral Micro 开发环境
• Python 3.x

环境配置步骤：

1. 克隆项目及其子模块：

   git clone --recurse-submodules https://github.com/maxbbraun/llama4micro.git
   cd llama4micro
   

   

2. 下载预训练模型并转换为适用于项目的格式。

   

4. 项目安装方式

1. 创建构建目录并编译项目：

   mkdir build
   cd build
   cmake ..
   make -j
   

   

2. 创建虚拟环境并安装依赖：

   python3 -m venv venv
   venv/bin/activate
   pip install -r /coralmicro/scripts/requirements.txt
   

   

3. 烧录编译好的固件到开发板：

   python /coralmicro/scripts/flashtool.py --build_dir build --elf_path llama4micro
   

   

5. 项目处理脚本

项目启动后，模型将自动加载，大约需要 7 秒钟。加载完成后，绿色指示灯会亮起。将摄像头对准物体并按下按钮，绿灯会熄灭，摄像头将拍摄照片并识别物体。模型会根据识别的物体生成 tokens 并通过串行端口输出。

以下是项目启动后的示例：

# 模型加载完毕，准备就绪
Green light on

# 拍摄照片并识别物体
Green light off

# 开始生成 tokens
Token 1
Token 2
...

# 生成结束
Green light on

以上是关于 Llama4micro 项目的下载与安装教程，希望对您有所帮助。