LettuceDetect 使用教程

1. 项目介绍

LettuceDetect 是由 KRLabsOrg 开发的一款用于检测 Retrieval-Augmented Generation (RAG) 系统中虚构内容（hallucinations）的工具。它可以识别出回答中未被上下文支持的部分。该工具在 RAGTruth 数据集上进行训练和评估，并使用 ModernBERT 进行长上下文处理，适合需要处理广泛上下文窗口的任务。

LettuceDetect 的特点包括：

• 精确到 Token 级别的检测：能够检测出具体的虚构片段。
• 优化推理性能：模型尺寸更小，推理速度更快。
• 4K 上下文窗口：利用 ModernBERT 的能力。
• MIT 许可：模型和代码都是开源的。
• 与 Huggingface 集成：支持一行代码加载模型。
• 易于使用的 Python API：可通过 pip 安装，并且只需几行代码即可集成到 RAG 系统。

2. 项目快速启动

安装

从仓库安装：

pip install -e .

或者从 pip 安装：

pip install lettucedetect

快速开始

以下是使用 LettuceDetect 的一个简单示例：

from lettucedetect.models.inference import HallucinationDetector

# 使用基于 Transformer 的方法：
detector = HallucinationDetector(
    method="transformer",
    model_path="KRLabsOrg/lettucedect-base-modernbert-en-v1"
)

contexts = [
    "法国是一个位于欧洲的国家。法国的首都是巴黎。法国的人口是6700万。"
]
question = "法国的首都是什么？法国的人口是多少？"
answer = "法国的首都是巴黎。法国的人口是6900万。"

# 获取预测结果，指示答案中哪些部分被认为是虚构的。
predictions = detector.predict(
    context=contexts,
    question=question,
    answer=answer,
    output_format="spans"
)

print("预测结果：", predictions)

输出示例

预测结果：

[{
    "start": 31,
    "end": 71,
    "confidence": 0.9944414496421814,
    "text": " 法国的人口是6900万。"
}]

3. 应用案例和最佳实践

在实际应用中，LettuceDetect 可以用于确保生成式 AI 的回答更加准确可信。以下是一些使用案例：

• 在问答系统中，确保提供的回答是基于给定上下文的真实信息。
• 在内容审核过程中，自动检测可能包含虚构信息的文本。

最佳实践建议：

• 在部署模型之前，使用 RAGTruth 数据集或其他相关数据集对模型进行充分的训练和评估。
• 根据具体应用场景调整模型参数，以获得最佳性能。

4. 典型生态项目

LettuceDetect 作为检测虚构内容的工具，可以与多种类型的开源项目集成，例如：

• 问答系统：如采用 RAG 模型的问答系统，可以集成 LettuceDetect 来提高回答的准确性。
• 自然语言生成 (NLG) 系统：在生成文章或报告时，使用 LettuceDetect 来避免生成基于错误信息的文本。

通过上述集成，LettuceDetect 可以为开源生态系统提供更加健壮和可靠的自然语言处理能力。