活字通用大模型项目使用教程

1. 项目的目录结构及介绍

活字通用大模型项目的目录结构如下：

huozi/
├── data/
├── evaluate/
├── example/
├── image/
├── pdf/
├── .gitignore
├── .gitmodules
├── LICENSE
├── README-v1v2.md
├── README-v3.md
├── README.md
└── quickstart.py

目录介绍

• data/: 存放项目的数据文件，包括训练数据和测试数据。
• evaluate/: 存放评估模型的脚本和工具。
• example/: 包含使用模型的示例代码和演示。
• image/: 存放项目相关的图片文件。
• pdf/: 存放项目相关的PDF文档。
• .gitignore: Git忽略文件，指定哪些文件或目录不需要被Git管理。
• .gitmodules: Git子模块配置文件，用于管理外部依赖。
• LICENSE: 项目的开源许可证文件。
• README-v1v2.md: 项目的版本1和版本2的说明文档。
• README-v3.md: 项目的版本3的说明文档。
• README.md: 项目的主说明文档。
• quickstart.py: 项目的启动文件，用于快速开始使用模型。

2. 项目的启动文件介绍

quickstart.py

quickstart.py 是活字通用大模型的启动文件，提供了快速开始使用模型的功能。该文件包含了模型的加载、推理和生成示例代码。

主要功能

• 模型加载: 从预训练模型中加载活字通用大模型。
• 推理: 提供模型的推理接口，支持多种推理框架，如vLLM、llama.cpp、Ollama等。
• 生成示例: 提供生成示例代码，展示如何使用模型生成文本。

使用示例

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "HIT-SCIR/huozi3.5"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    attn_implementation="flash_attention_2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

text = """<|beginofutterance|>系统 你是一个智能助手<|endofutterance|>
<|beginofutterance|>用户 请你用python写一段快速排序的代码<|endofutterance|>
<|beginofutterance|>助手 """

inputs = tokenizer(text, return_tensors="pt").to(0)
outputs = model.generate(
    **inputs,
    eos_token_id=57001,
    temperature=0.8,
    top_p=0.9,
    max_new_tokens=2048
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

3. 项目的配置文件介绍

.gitignore

.gitignore 文件用于指定哪些文件或目录不需要被Git管理。例如，临时文件、日志文件、编译输出文件等可以被忽略。

.gitmodules

.gitmodules 文件用于管理Git子模块，指定项目依赖的外部库或模块。

LICENSE

LICENSE 文件包含了项目的开源许可证信息，说明项目的使用条款和条件。

README.md

README.md 是项目的主说明文档，包含了项目的概述、安装指南、使用说明、贡献指南等内容。

README-v1v2.md 和 README-v3.md

README-v1v2.md 和 README-v3.md 分别包含了项目版本1、版本2和版本3的详细说明文档，介绍了各个版本的特性和更新内容。

通过以上介绍，您可以快速了解活字通用大模型的项目结构、启动文件和配置文件，从而更好地使用和配置该项目。