如何用LettuceDetect检测8种语言的AI幻觉:EuroBERT多语言模型实战教程
如何用LettuceDetect检测8种语言的AI幻觉:EuroBERT多语言模型实战教程
LettuceDetect 是一个开源的Span 级(片段级)AI 幻觉检测工具,基于 EuroBERT 多语言模型,能对 RAG 答案、代码智能体输出进行"事实核查",精确定位答案中哪些片段没有依据。它一次覆盖 8 种语言:英语、德语、法语、西班牙语、意大利语、波兰语、中文和匈牙利语,检测效果最高比 GPT-4.1-mini 这样的 LLM 裁判高 17 个 F1 点,而且本地推理速度更快、成本更低。
为什么需要多语言 AI 幻觉检测?
实际生产中的 RAG(检索增强生成)系统几乎都是多语言的:用户问题可能是法语,知识库文档是德语,模型回答却可能中英混杂。而此前多数幻觉检测方案只支持英语,非英语场景几乎"裸奔"。
LettuceDetect 的做法很聪明:
- 数据层:把英文标注数据集 RAGTruth 翻译成 6 种语言,且翻译时完整保留
<hal>幻觉标注标签,快速得到多语言训练数据 - 模型层:在 EuroBERT(一个支持 15 种语言、上下文长达 8192 token 的编码器模型)上微调,做 token 级二分类
- 输出层:把概率超过 0.5 的 token 合并成连续的 span(片段),告诉你"具体哪一句话有问题",而不只是"这段回答有问题/没问题"
LettuceDetect 的工作原理:Token 级定位
下图展示了完整流程:Context(上下文)、Question(问题)、Answer(答案)拼接后经 Tokenizer 切分,模型只给答案部分逐 token 打分——红色高亮的 "highest 75%" 就是被判定为幻觉的部分(参考文档里写的是 "lowest 75%")。
相比"整句判定"的方案,这种**片段级(span-level)**定位让你能直接把幻觉部分标红展示给用户,或只拦截有问题的句子,体验完全不同。
支持哪 8 种语言?模型怎么选?
官方多语言指南见 docs/guide/multilingual.md,每种语言对应一个独立 checkpoint:
| 语言 | 代码 | 底座模型 | 模型名(210M 示例) |
|---|---|---|---|
| 英语 | en | ModernBERT | lettucedect-base-modernbert-en-v1 |
| 德语 | de | EuroBERT | lettucedect-210m-eurobert-de-v1 |
| 法语 | fr | EuroBERT | lettucedect-210m-eurobert-fr-v1 |
| 西班牙语 | es | EuroBERT | lettucedect-210m-eurobert-es-v1 |
| 意大利语 | it | EuroBERT | lettucedect-210m-eurobert-it-v1 |
| 波兰语 | pl | EuroBERT | lettucedect-210m-eurobert-pl-v1 |
| 中文 | cn | EuroBERT | lettucedect-210m-eurobert-cn-v1 |
| 匈牙利语 | hu | mmBERT | lettucedect-mmbert-base-hu-v1 |
EuroBERT 系列还有更大的 610M 变体(lettucedect-610m-eurobert-<lang>-v1),推理上下文窗口为 8K token。选型建议:
- 💡 追求速度 → 210M:推理约快 3 倍、显存占用小,F1 低 5~10 个点
- 💡 追求精度 → 610M:所有语言上精度最高,需要更多算力
安装与首次检测:3 步上手
第 1 步:安装
pip install lettucedetect
⚠️ EuroBERT 模型需要加载远程代码,请确保
transformers版本低于 5.x:pip install "transformers>=4.48.3,<5"。ModernBERT(英语)和 mmBERT(匈牙利语)模型不受影响。
从源码安装可以:
git clone https://gitcode.com/gh_mirrors/le/LettuceDetect
cd LettuceDetect
pip install -e .
第 2 步:创建检测器(以德语为例,核心入口在 lettucedetect/models/inference.py)
from lettucedetect.models.inference import HallucinationDetector
detector = HallucinationDetector(
method="transformer",
model_path="KRLabsOrg/lettucedect-610m-eurobert-de-v1",
lang="de",
trust_remote_code=True
)
第 3 步:检测
contexts = [
"Frankreich ist ein Land in Europa. Die Hauptstadt von Frankreich ist Paris. "
"Die Bevölkerung Frankreichs beträgt 67 Millionen."
]
question = "Was ist die Hauptstadt von Frankreich? Wie groß ist die Bevölkerung?"
answer = "Die Hauptstadt von Frankreich ist Paris. Die Bevölkerung beträgt 69 Millionen."
predictions = detector.predict(
context=contexts, question=question, answer=answer, output_format="spans"
)
返回结果是精确定位的片段列表,例如把 Die Bevölkerung beträgt 69 Millionen(人口 6900 万——与上下文的 6700 万矛盾)标记为幻觉 span,附带起止位置和置信度。
多语言数据从哪来?翻译标注流水线
这是整个方案最巧妙的部分。完整记录见 docs/EUROBERT.md:
- 标注打标:英文 RAGTruth 数据中,幻觉片段用
<hal>标签标记 - LLM 翻译:用 gemma-3-27b-it 翻译 context/question/answer,强制保留所有
<hal>标签——翻译脚本在 scripts/translate/translate.py - 抽取校验:按原 RAGTruth 格式抽取翻译后的内容和标注
- 微调训练:EuroBERT + 线性分类头做 token 二分类,AdamW 优化器、6 个 epoch、单卡 A100
一个德语翻译例子:
英文标注:
the third quartile (Q3) splits the <hal>highest 75%</hal> of the data德语译文:Schließlich teilt das dritte Quartil (Q3) die <hal>höchsten 75%</hal> der Daten.
标签位置在翻译后依然精确对应幻觉内容,这就是多语言模型能"开箱即用"的关键。
效果如何?vs GPT-4.1-mini 的对比
在 610M 模型上,EuroBERT 全系列语言超越 GPT-4.1-mini few-shot 基线,部分结果如下(F1 %):
| 语言 | EuroBERT-610M | GPT-4.1-mini | Δ F1 |
|---|---|---|---|
| 中文 | 77.27 | 60.23 | +17.04 |
| 德语 | 74.95 | 60.91 | +14.04 |
| 波兰语 | 73.05 | 59.27 | +13.78 |
| 意大利语 | 74.71 | 61.06 | +13.65 |
| 西班牙语 | 73.25 | 62.40 | +10.85 |
| 法语 | 73.13 | 62.37 | +10.76 |
一个值得注意的现象:GPT-4.1-mini 召回率高但精度低(常把正确内容也误报为幻觉),在生产环境会造成大量误拦截;而微调后的 EuroBERT 在精度上明显更可靠。这也是"专用小模型 > 通用大模型裁判"的一个典型例证。
进阶玩法:LLM 基线与 Streamlit 演示
不想部署本地模型时,LettuceDetect 也内置了 LLM 基线(设置 OPENAI_API_KEY 后用 method="llm"),8 种语言的 few-shot 提示词模板在 lettucedetect/prompts/ 目录下,每种语言都有独立的 qa_prompt_*.txt 和 examples_*.json。
想可视化体验?项目自带 Streamlit 演示:
pip install streamlit
streamlit run demo/streamlit_demo.py
代码示例可参考 demo/detection.ipynb。
总结与延伸
| 要点 | 说明 |
|---|---|
| 🌍 8 种语言 | en/de/fr/es/it/pl/cn/hu,每语言独立 checkpoint |
| 🎯 Span 级输出 | 精确定位幻觉片段,附带置信度,可用 min_confidence 过滤 |
| ⚡ 快而省 | 210M 推理约快 3 倍;8K 上下文窗口,适合长文档 RAG |
| 📦 完全开源 | MIT 协议,数据、模型、训练脚本全开放 |
延伸阅读:
- 多语言论文与数据流水线详解:docs/EUROBERT.md
- 安装指南:docs/getting-started/installation.md
- 检测器工厂与 Transformer 实现:lettucedetect/detectors/
- 数据构建脚本:lettucedetect/datasets/hallucination_dataset.py
一句话总结:如果你的 RAG 系统面向非英语用户,LettuceDetect + EuroBERT 目前是最简单的多语言幻觉检测落地方案——几行代码接入,比调用大模型裁判更快、更准、更省钱。

