如何用LettuceDetect检测8种语言的AI幻觉:EuroBERT多语言模型实战教程

原创2026-11-14 12:25:271,915 阅读
文章标签:人工智能RAGNLPAI 评测

如何用LettuceDetect检测8种语言的AI幻觉:EuroBERT多语言模型实战教程

LettuceDetect 是一个开源的Span 级(片段级)AI 幻觉检测工具,基于 EuroBERT 多语言模型,能对 RAG 答案、代码智能体输出进行"事实核查",精确定位答案中哪些片段没有依据。它一次覆盖 8 种语言:英语、德语、法语、西班牙语、意大利语、波兰语、中文和匈牙利语,检测效果最高比 GPT-4.1-mini 这样的 LLM 裁判高 17 个 F1 点,而且本地推理速度更快、成本更低。

LettuceDetect 多语言检测团队吉祥物

为什么需要多语言 AI 幻觉检测?

实际生产中的 RAG(检索增强生成)系统几乎都是多语言的:用户问题可能是法语,知识库文档是德语,模型回答却可能中英混杂。而此前多数幻觉检测方案只支持英语,非英语场景几乎"裸奔"。

LettuceDetect 的做法很聪明:

  • 数据层:把英文标注数据集 RAGTruth 翻译成 6 种语言,且翻译时完整保留 <hal> 幻觉标注标签,快速得到多语言训练数据
  • 模型层:在 EuroBERT(一个支持 15 种语言、上下文长达 8192 token 的编码器模型)上微调,做 token 级二分类
  • 输出层:把概率超过 0.5 的 token 合并成连续的 span(片段),告诉你"具体哪一句话有问题",而不只是"这段回答有问题/没问题"

LettuceDetect 的工作原理:Token 级定位

下图展示了完整流程:Context(上下文)、Question(问题)、Answer(答案)拼接后经 Tokenizer 切分,模型只给答案部分逐 token 打分——红色高亮的 "highest 75%" 就是被判定为幻觉的部分(参考文档里写的是 "lowest 75%")。

LettuceDetect Token级幻觉检测原理图

相比"整句判定"的方案,这种**片段级(span-level)**定位让你能直接把幻觉部分标红展示给用户,或只拦截有问题的句子,体验完全不同。

支持哪 8 种语言?模型怎么选?

官方多语言指南见 docs/guide/multilingual.md,每种语言对应一个独立 checkpoint:

语言 代码 底座模型 模型名(210M 示例)
英语 en ModernBERT lettucedect-base-modernbert-en-v1
德语 de EuroBERT lettucedect-210m-eurobert-de-v1
法语 fr EuroBERT lettucedect-210m-eurobert-fr-v1
西班牙语 es EuroBERT lettucedect-210m-eurobert-es-v1
意大利语 it EuroBERT lettucedect-210m-eurobert-it-v1
波兰语 pl EuroBERT lettucedect-210m-eurobert-pl-v1
中文 cn EuroBERT lettucedect-210m-eurobert-cn-v1
匈牙利语 hu mmBERT lettucedect-mmbert-base-hu-v1

EuroBERT 系列还有更大的 610M 变体(lettucedect-610m-eurobert-<lang>-v1),推理上下文窗口为 8K token。选型建议:

  • 💡 追求速度 → 210M:推理约快 3 倍、显存占用小,F1 低 5~10 个点
  • 💡 追求精度 → 610M:所有语言上精度最高,需要更多算力

安装与首次检测:3 步上手

第 1 步:安装

pip install lettucedetect

⚠️ EuroBERT 模型需要加载远程代码,请确保 transformers 版本低于 5.x:pip install "transformers>=4.48.3,<5"。ModernBERT(英语)和 mmBERT(匈牙利语)模型不受影响。

从源码安装可以:

git clone https://gitcode.com/gh_mirrors/le/LettuceDetect
cd LettuceDetect
pip install -e .

第 2 步:创建检测器(以德语为例,核心入口在 lettucedetect/models/inference.py)

from lettucedetect.models.inference import HallucinationDetector

detector = HallucinationDetector(
    method="transformer",
    model_path="KRLabsOrg/lettucedect-610m-eurobert-de-v1",
    lang="de",
    trust_remote_code=True
)

第 3 步:检测

contexts = [
    "Frankreich ist ein Land in Europa. Die Hauptstadt von Frankreich ist Paris. "
    "Die Bevölkerung Frankreichs beträgt 67 Millionen."
]
question = "Was ist die Hauptstadt von Frankreich? Wie groß ist die Bevölkerung?"
answer = "Die Hauptstadt von Frankreich ist Paris. Die Bevölkerung beträgt 69 Millionen."

predictions = detector.predict(
    context=contexts, question=question, answer=answer, output_format="spans"
)

返回结果是精确定位的片段列表,例如把 Die Bevölkerung beträgt 69 Millionen(人口 6900 万——与上下文的 6700 万矛盾)标记为幻觉 span,附带起止位置和置信度。

多语言数据从哪来?翻译标注流水线

这是整个方案最巧妙的部分。完整记录见 docs/EUROBERT.md:

  1. 标注打标:英文 RAGTruth 数据中,幻觉片段用 <hal> 标签标记
  2. LLM 翻译:用 gemma-3-27b-it 翻译 context/question/answer,强制保留所有 <hal> 标签——翻译脚本在 scripts/translate/translate.py
  3. 抽取校验:按原 RAGTruth 格式抽取翻译后的内容和标注
  4. 微调训练:EuroBERT + 线性分类头做 token 二分类,AdamW 优化器、6 个 epoch、单卡 A100

一个德语翻译例子:

英文标注:the third quartile (Q3) splits the <hal>highest 75%</hal> of the data 德语译文:Schließlich teilt das dritte Quartil (Q3) die <hal>höchsten 75%</hal> der Daten.

标签位置在翻译后依然精确对应幻觉内容,这就是多语言模型能"开箱即用"的关键。

效果如何?vs GPT-4.1-mini 的对比

在 610M 模型上,EuroBERT 全系列语言超越 GPT-4.1-mini few-shot 基线,部分结果如下(F1 %):

语言 EuroBERT-610M GPT-4.1-mini Δ F1
中文 77.27 60.23 +17.04
德语 74.95 60.91 +14.04
波兰语 73.05 59.27 +13.78
意大利语 74.71 61.06 +13.65
西班牙语 73.25 62.40 +10.85
法语 73.13 62.37 +10.76

一个值得注意的现象:GPT-4.1-mini 召回率高但精度低(常把正确内容也误报为幻觉),在生产环境会造成大量误拦截;而微调后的 EuroBERT 在精度上明显更可靠。这也是"专用小模型 > 通用大模型裁判"的一个典型例证。

进阶玩法:LLM 基线与 Streamlit 演示

不想部署本地模型时,LettuceDetect 也内置了 LLM 基线(设置 OPENAI_API_KEY 后用 method="llm"),8 种语言的 few-shot 提示词模板在 lettucedetect/prompts/ 目录下,每种语言都有独立的 qa_prompt_*.txt 和 examples_*.json。

想可视化体验?项目自带 Streamlit 演示:

pip install streamlit
streamlit run demo/streamlit_demo.py

代码示例可参考 demo/detection.ipynb。

总结与延伸

要点 说明
🌍 8 种语言 en/de/fr/es/it/pl/cn/hu,每语言独立 checkpoint
🎯 Span 级输出 精确定位幻觉片段,附带置信度,可用 min_confidence 过滤
⚡ 快而省 210M 推理约快 3 倍;8K 上下文窗口,适合长文档 RAG
📦 完全开源 MIT 协议,数据、模型、训练脚本全开放

延伸阅读:

一句话总结:如果你的 RAG 系统面向非英语用户,LettuceDetect + EuroBERT 目前是最简单的多语言幻觉检测落地方案——几行代码接入,比调用大模型裁判更快、更准、更省钱。

登录后查看全文
LettuceDetect