活字通用大模型使用指南

1. 项目介绍

活字通用大模型（Huozi）是由哈尔滨工业大学社会计算与信息检索研究中心（HIT-SCIR）开发的一个稀疏混合专家模型。该模型支持32K上下文，具有丰富的中、英文知识和强大的数学推理、代码生成能力。活字3.0相较于旧版活字，在指令遵循能力和安全性方面有了显著提升。

主要特点：

• 稀疏混合专家模型：支持32K上下文，能够处理长文本。
• 多语言支持：丰富的中、英文知识。
• 强大的推理能力：在数学推理和代码生成任务上表现出色。
• 指令遵循能力：较旧版活字有显著提升。

2. 项目快速启动

环境准备

首先，确保你已经安装了Python和必要的依赖库。你可以使用以下命令安装所需的Python包：

pip install torch transformers

模型下载

你可以从Hugging Face ModelScope下载活字3.0模型：

git clone https://github.com/HIT-SCIR/huozi.git
cd huozi

快速启动代码

以下是一个使用活字3.0进行推理的示例代码：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "HIT-SCIR/huozi3"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    attn_implementation="flash_attention_2",
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

text = """<|beginofutterance|>系统 你是一个智能助手<|endofutterance|>
<|beginofutterance|>用户 请你用python写一段快速排序的代码<|endofutterance|>
<|beginofutterance|>助手 """

inputs = tokenizer(text, return_tensors="pt").to(0)
outputs = model.generate(
    **inputs,
    eos_token_id=57001,
    temperature=0.8,
    top_p=0.9,
    max_new_tokens=2048
)

print(tokenizer.decode(outputs[0], skip_special_tokens=False))

3. 应用案例和最佳实践

应用案例

活字3.0可以广泛应用于以下场景：

• 智能助手：提供强大的指令遵循能力和多语言支持。
• 代码生成：自动生成高质量的代码片段。
• 数学推理：解决复杂的数学问题。

最佳实践

• 多轮对话：利用活字3.0的32K上下文支持，实现多轮对话的流畅交互。
• 指令微调：根据特定任务对模型进行微调，以提高指令遵循能力。

4. 典型生态项目

Transformers

活字3.0支持Transformers框架，可以轻松集成到现有的NLP项目中。

vLLM

通过vLLM实现推理加速，提高模型响应速度。

llama.cpp

支持量化推理，减少显存占用，适用于资源受限的环境。

AutoAWQ

提供AWQ格式的模型权重，适用于AutoAWQ等推理框架。

通过以上模块的介绍和示例代码，你可以快速上手并应用活字通用大模型。