export_llama_to_onnx 项目使用教程

1. 项目目录结构及介绍

export_llama_to_onnx/
├── .gitignore
├── LICENSE
├── README.md
├── export_bloom.py
├── export_bloom_naive.py
├── export_chatglm2.py
├── export_gemma.py
├── export_llama.py
├── export_llama3.py
├── export_llama_single.py
├── export_qwen2_1.5.py
├── infer_glm2_by_onnx.py
├── onnx_rt_utils.py
└── sample_utils.py

目录结构说明

• .gitignore: Git 忽略文件配置。
• LICENSE: 项目许可证文件，采用 MIT 许可证。
• README.md: 项目说明文档。
• export_bloom.py: 用于将 Bloom 模型导出为 ONNX 格式的脚本。
• export_bloom_naive.py: 用于将 Bloom 模型导出为 ONNX 格式的简单脚本。
• export_chatglm2.py: 用于将 ChatGLM2 模型导出为 ONNX 格式的脚本。
• export_gemma.py: 用于将 Gemma 模型导出为 ONNX 格式的脚本。
• export_llama.py: 用于将 LLaMA 模型导出为 ONNX 格式的脚本。
• export_llama3.py: 用于将 LLaMA 模型导出为 ONNX 格式的脚本（版本3）。
• export_llama_single.py: 用于将 LLaMA 模型导出为单个 ONNX 文件的脚本。
• export_qwen2_1.5.py: 用于将 Qwen 2.1.5 模型导出为 ONNX 格式的脚本。
• infer_glm2_by_onnx.py: 用于通过 ONNX 推理 ChatGLM2 模型的脚本。
• onnx_rt_utils.py: ONNX 运行时工具脚本。
• sample_utils.py: 示例工具脚本。

2. 项目启动文件介绍

export_llama.py

该文件是项目的核心启动文件，用于将 LLaMA 模型导出为 ONNX 格式。

使用方法

python export_llama.py -m model_dir -o out_dir --dtype fp16

• -m model_dir: 指定模型目录。
• -o out_dir: 指定输出目录。
• --dtype fp16: 指定数据类型为 fp16。

export_llama_single.py

该文件用于将 LLaMA 模型导出为单个 ONNX 文件。

使用方法

python export_llama_single.py -m model_dir -o out_dir --dtype fp16

• -m model_dir: 指定模型目录。
• -o out_dir: 指定输出目录。
• --dtype fp16: 指定数据类型为 fp16。

3. 项目的配置文件介绍

项目中没有显式的配置文件，但可以通过命令行参数进行配置。例如：

• --opset: 设置 ONNX 的 opset 版本。
• --add_topk_warper: 在 ONNX 模型中添加 topk 包装器。

示例

python export_llama.py -m model_dir -o out_dir --dtype fp16 --opset 12 --add_topk_warper

通过这些参数，可以灵活地配置模型的导出过程。