ReLLM 项目使用教程

1. 项目的目录结构及介绍

ReLLM 项目的目录结构如下：

rellm/
├── README.md
├── setup.py
├── rellm/
│   ├── __init__.py
│   ├── complete_re.py
│   ├── ...
├── examples/
│   ├── example1.py
│   ├── example2.py
│   ├── ...
├── tests/
│   ├── test_complete_re.py
│   ├── ...

目录结构介绍

• README.md: 项目介绍和使用说明。
• setup.py: 项目的安装脚本。
• rellm/: 项目的主要代码目录。
  • __init__.py: 模块初始化文件。
  • complete_re.py: 核心功能实现文件。
  • ...: 其他相关代码文件。
• examples/: 示例代码目录，包含多个使用示例。
• tests/: 测试代码目录，包含多个测试用例。

2. 项目的启动文件介绍

项目的启动文件主要是 rellm/complete_re.py，该文件包含了核心功能实现，具体内容如下：

from transformers import AutoModelForCausalLM, AutoTokenizer
from rellm import complete_re
import regex

model = AutoModelForCausalLM.from_pretrained("gpt2")
tokenizer = AutoTokenizer.from_pretrained("gpt2")

prompt = "ReLLM the best way to get structured data out of LLMs is an acronym for "
pattern = regex.compile(r'Re[a-z]+ L[a-z]+ L[a-z]+ M[a-z]+')

output = complete_re(tokenizer=tokenizer, model=model, prompt=prompt, pattern=pattern, do_sample=True, max_new_tokens=80)
print(output)

启动文件介绍

• complete_re.py: 该文件定义了 complete_re 函数，用于根据指定的正则表达式模式生成结构化的文本输出。
• AutoModelForCausalLM 和 AutoTokenizer: 用于加载预训练的语言模型和分词器。
• prompt: 输入的提示文本。
• pattern: 正则表达式模式，用于约束生成的文本。
• complete_re 函数调用: 根据输入的提示文本和正则表达式模式生成输出。

3. 项目的配置文件介绍

ReLLM 项目没有显式的配置文件，所有的配置和参数都在代码中直接定义和使用。例如，在 complete_re.py 中，模型和分词器的加载、提示文本、正则表达式模式等都是直接在代码中定义的。

配置参数介绍

• model: 预训练的语言模型，这里使用的是 gpt2。
• tokenizer: 对应的分词器，也是 gpt2。
• prompt: 输入的提示文本，用于引导模型生成文本。
• pattern: 正则表达式模式，用于约束生成的文本格式。
• do_sample: 是否进行采样，这里设置为 True。
• max_new_tokens: 生成的最大新词数，这里设置为 80。

以上是 ReLLM 项目的基本使用教程，涵盖了项目的目录结构、启动文件和配置参数的介绍。希望对您有所帮助。