长文本理解基准测试项目 LongBench 使用教程

1. 项目介绍

LongBench 是由清华大学THUDM团队开发的一个用于评估长文本理解能力的数据集和基准测试项目。它旨在通过包含长篇文档的多个任务来评估大型语言模型在真实场景下的理解和推理能力。LongBench v2 版本包含了503个具有挑战性的多项选择题，涵盖了从8千字到200万字不等的文本长度，任务类别包括单文档问答、多文档问答、长文本上下文学习、长对话历史理解、代码库理解和长结构化数据理解等。

2. 项目快速启动

以下是快速启动 LongBench 项目的步骤：

首先，您需要安装必要的依赖项。打开命令行，运行以下命令：

pip install -r requirements.txt

接着，您需要部署模型。这里以 GLM-4-9B-Chat 为例，运行以下命令来启动模型服务：

vllm serve THUDM/glm-4-9b-chat --api-key token-abc123 --tensor-parallel-size 4 --gpu-memory-utilization 0.95 --max_model_len 131072 --trust-remote-code

请根据您的模型和硬件配置调整 --tensor-parallel-size、--gpu-memory-utilization 和 --max_model_len 参数。

部署模型后，修改 pred.py 文件中的 URL 和 API_KEY 以匹配您的服务实例。然后，运行以下命令来进行模型推理：

python pred.py --model GLM-4-9B-Chat

您还可以添加以下参数来调整推理过程：

• --cot：启用 Chain-of-Thought（CoT）设置下的评估。
• --no_context：测试模型在没有长文本上下文的情况下的性能（纯记忆）。
• --rag N：在 +RAG 评估中使用顶部 N 个检索的上下文，默认设置为 0 来禁用 RAG。

最后，运行以下命令来导出评估结果：

python result.py

3. 应用案例和最佳实践

• 单文档问答：给定一个长文档，回答与文档内容相关的问题。
• 多文档问答：整合多个文档的信息，回答需要跨文档推理的问题。
• 长对话历史理解：理解并回应长对话历史中的信息。

最佳实践建议在部署模型前进行充分的测试，以确保模型能够正确处理长文本上下文。

4. 典型生态项目

LongBench 作为评估长文本理解能力的基准，可以与以下生态项目结合使用：

• GLM-4：一个开源的大型语言模型，适用于多种自然语言处理任务。
• vLLM：一个开源的服务框架，用于高效地部署和运行大型语言模型。
• Hugging Face：一个提供易于使用的机器学习库和模型存储库的平台。

通过结合这些项目，研究人员和开发人员可以更好地评估和改进长文本理解模型。