活字通用大模型项目使用教程

2024-09-26 04:40:48作者：农烁颖Land

1. 项目的目录结构及介绍

活字通用大模型项目的目录结构如下：

huozi/
├── data/
├── evaluate/
├── example/
├── image/
├── pdf/
├── .gitignore
├── .gitmodules
├── LICENSE
├── README-v1v2.md
├── README-v3.md
├── README.md
└── quickstart.py

目录介绍

data/: 存放项目的数据文件，包括训练数据和测试数据。
evaluate/: 存放评估模型的脚本和工具。
example/: 包含使用模型的示例代码和演示。
image/: 存放项目相关的图片文件。
pdf/: 存放项目相关的PDF文档。
.gitignore: Git忽略文件，指定哪些文件或目录不需要被Git管理。
.gitmodules: Git子模块配置文件，用于管理外部依赖。
LICENSE: 项目的开源许可证文件。
README-v1v2.md: 项目的版本1和版本2的说明文档。
README-v3.md: 项目的版本3的说明文档。
README.md: 项目的主说明文档。
quickstart.py: 项目的启动文件，用于快速开始使用模型。

2. 项目的启动文件介绍

`quickstart.py`

quickstart.py 是活字通用大模型的启动文件，提供了快速开始使用模型的功能。该文件包含了模型的加载、推理和生成示例代码。

主要功能

模型加载: 从预训练模型中加载活字通用大模型。
推理: 提供模型的推理接口，支持多种推理框架，如vLLM、llama.cpp、Ollama等。
生成示例: 提供生成示例代码，展示如何使用模型生成文本。

使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "HIT-SCIR/huozi3.5"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    attn_implementation="flash_attention_2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

text = """<|beginofutterance|>系统 你是一个智能助手<|endofutterance|>
<|beginofutterance|>用户 请你用python写一段快速排序的代码<|endofutterance|>
<|beginofutterance|>助手 """

inputs = tokenizer(text, return_tensors="pt").to(0)
outputs = model.generate(
    **inputs,
    eos_token_id=57001,
    temperature=0.8,
    top_p=0.9,
    max_new_tokens=2048
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))