LightRAG 基于 RAGAS 的检索问答质量评估框架实战指南
LightRAG 基于 RAGAS 的检索问答质量评估框架实战指南
本指南以 lightrag/evaluation/ 内置的 RAGAS 评估框架为主线,讲解如何对 LightRAG 检索问答系统进行 Faithfulness、Answer Relevance、Context Recall、Context Precision 四维度的自动化评测,并手把手带你完成从依赖安装、数据集准备、服务联调到结果解读的全流程。读完你既能用一条命令复现仓库自带的示例评测,也能把同一套工具迁移到你自己的文档库与自定义评测集上。
一、RAGAS 是什么:面向 RAG 系统的免标注评估框架
RAGAS(Retrieval Augmented Generation Assessment)是一套基于 LLM 对 RAG 系统进行**无参考答案式(reference-free)**评估的框架,它让大模型本身充当"评审员",对检索质量与生成质量打分。LightRAG 仓库的评估子模块将其与 LightRAG API 服务打通,形成一条"真实问答 → 真实检索 → 自动打分"的评测闭环。
在 LightRAG 中该框架实际测量四项指标,核心含义如下:
| 指标 | 衡量内容 | 良好分数线 |
|---|---|---|
| Faithfulness(忠实度) | 回答是否基于检索上下文、事实准确(用于捕捉幻觉) | > 0.80 |
| Answer Relevance(答案相关性) | 回答是否切题、对应用户问题 | > 0.80 |
| Context Recall(上下文召回) | 所有相关信息是否都从文档中被检索出来 | > 0.80 |
| Context Precision(上下文精确率) | 检索上下文是否干净、不含无关噪声 | > 0.80 |
| RAGAS Score(综合分) | 上述指标的综合质量分(平均值) | > 0.80 |
需要说明的是,这四项指标都以 0~1 区间计分,越高越好。从 eval_rag_quality.py 的实现可以看到,综合 RAGAS Score 并非简单四舍五入,而是先排除 NaN 值后再对有效指标取平均,避免某一指标因 API 异常返回 NaN 时把总分拖成 0。
二、目录结构:评估子模块里都有什么
评估代码集中在 lightrag/evaluation/ 下,各文件职责如下:
lightrag/evaluation/
├── eval_rag_quality.py # 主评测脚本(RAGAS 调用入口)
├── offline_retrieval_check.py # 离线检索预检脚本(不调用任何模型)
├── sample_dataset.json # 内置测试集:6 个关于 LightRAG 的提问
├── sample_retrieval_oracle.json # 预检 oracle:每个问题期望命中的文档
├── sample_documents/ # 与测试问题配套的 5 篇 Markdown 语料
│ ├── 01_lightrag_overview.md
│ ├── 02_rag_architecture.md
│ ├── 03_lightrag_improvements.md
│ ├── 04_supported_databases.md
│ ├── 05_evaluation_and_deployment.md
│ └── README.md
├── __init__.py # Python 包初始化
└── results/ # 运行后自动生成的输出目录
├── results_YYYYMMDD_HHMMSS.json # 完整原始指标(JSON)
└── results_YYYYMMDD_HHMMSS.csv # 表格化指标(CSV,便于 Excel/分析)
注意 results/ 目录无需手工创建,脚本启动时会通过 self.results_dir.mkdir(exist_ok=True) 自动建立(见 eval_rag_quality.py)。
快速复现路径为:把 sample_documents/ 下的文档灌入 LightRAG 索引,再运行评测脚本。按仓库配套说明,每个测试问题可获得约 89%~100%(样例语料 README 标注为约 91%~100%)的 RAGAS 得分。
三、快速开始(Quick Start)
1. 安装依赖
评估需要 ragas、datasets、langfuse 等第三方包,两种安装方式任选:
# 方式一:直接安装核心评测依赖
pip install ragas datasets langfuse
# 方式二:通过项目声明的 evaluation extra 安装(推荐)
pip install -e ".[evaluation]"
仓库在 pyproject.toml 中把评测依赖固化为 evaluation 分组:lightrag-hku[api] + ragas>=0.3.7 + datasets>=4.3.0,其中 [api] 子组保证能启动 LightRAG API 服务;langfuse 则位于 observability 分组中用于可观测性追踪,文档一并建议安装以便观测评测链路的 LLM 调用。
2.(可选)离线样例检索预检
在真正调用 LightRAG、Embedding 与 LLM 之前,可以先跑一次完全离线的词法检索检查,验证内置测试问题是否能在纯文本层面命中预期文档:
python lightrag/evaluation/offline_retrieval_check.py --strict
该脚本实现于 offline_retrieval_check.py:它只做去停用词、词频 + IDF 加权的确定性词法打分,不启动 LightRAG、不调用 API、不算向量、不请求任何 LLM。判断依据是 sample_retrieval_oracle.json 中"问题 → 期望文档"的映射表,例如"Q: How does LightRAG solve the hallucination problem…"期望命中 01_lightrag_overview.md。--strict 表示只有每个测试问题的 recall@k(默认 top_k=2)全部为 1.0 时才以退出码 0 通过,否则非零退出,适合作为 CI 门禁;脚本还会额外打印平均 recall@k 与平均倒数排名(MRR)。仓库自带该脚本的单元测试 test_evaluation_offline_retrieval_check.py,用于保证"期望文档必须排在第一、零分文档不得计为命中"等行为。
3. 基础评测(使用默认参数)
默认测试集为内置的 sample_dataset.json,默认 RAG 端点为本地 LightRAG API:
cd /path/to/LightRAG
python lightrag/evaluation/eval_rag_quality.py
4. 指定自定义数据集
python lightrag/evaluation/eval_rag_quality.py --dataset my_test.json
5. 指定自定义 RAG 端点
python lightrag/evaluation/eval_rag_quality.py --ragendpoint http://my-server.com:9621
6. 同时指定两者(短参数形式)
python lightrag/evaluation/eval_rag_quality.py -d my_test.json -r http://localhost:9621
7. 查看全部参数
python lightrag/evaluation/eval_rag_quality.py --help
四、命令行参数详解
main() 通过 argparse 只暴露两个入口参数,保持使用面极简:
| 参数 | 短参数 | 默认值 | 说明 |
|---|---|---|---|
--dataset |
-d |
sample_dataset.json(评测目录内) |
测试数据集 JSON 文件路径 |
--ragendpoint |
-r |
http://localhost:9621 或 $LIGHTRAG_API_URL |
LightRAG API 服务端点 |
关键实现细节(与直觉略有出入,值得注意):
--dataset未提供时,默认路径取脚本同目录下的 sample_dataset.json(见 eval_rag_quality.py),因此必须在项目根目录或绝对路径明确指定,避免误落当前目录;找不到文件时会抛出FileNotFoundError(对应报错"No sample_dataset.json found")。--ragendpoint未提供时,会先读取LIGHTRAG_API_URL环境变量,兜底为http://localhost:9621(见 eval_rag_quality.py)。端口9621与 LightRAG 服务端默认端口一致——服务端端口在 lightrag/api/config.py 中由PORT环境变量控制,默认同为 9621。
用法示例
# 默认数据集 + 默认端点
python lightrag/evaluation/eval_rag_quality.py
# 自定义数据集 + 默认端点
python lightrag/evaluation/eval_rag_quality.py --dataset path/to/my_dataset.json
# 默认数据集 + 自定义端点
python lightrag/evaluation/eval_rag_quality.py --ragendpoint http://my-server.com:9621
# 自定义数据集 + 自定义端点
python lightrag/evaluation/eval_rag_quality.py -d my_dataset.json -r http://localhost:9621
# 数据集使用绝对路径
python lightrag/evaluation/eval_rag_quality.py -d /path/to/custom_dataset.json
# 查看帮助
python lightrag/evaluation/eval_rag_quality.py --help
五、环境变量配置:评估模型与端点
⚠️ 最重要前提:LLM 与 Embedding 端点必须兼容 OpenAI API
- RAGAS 框架要求 OpenAI 兼容的 API 接口,脚本底层通过
ChatOpenAI/OpenAIEmbeddings(LangChain OpenAI 客户端)发起调用(见 eval_rag_quality.py)。 - 自定义端点必须实现 OpenAI 的 API 格式(如 vLLM、SGLang、LocalAI 等)才可用;不兼容的端点会直接导致评测失败。
环境变量总表
| 变量 | 默认值 | 说明 |
|---|---|---|
| LLM 评测模型 | ||
EVAL_LLM_MODEL |
gpt-4o-mini |
RAGAS 打分的 LLM 模型 |
EVAL_LLM_BINDING_API_KEY |
回退到 OPENAI_API_KEY |
评测 LLM 的 API Key |
EVAL_LLM_BINDING_HOST |
(可选) | 评测 LLM 的自定义 OpenAI 兼容端点 URL |
| Embedding 模型 | ||
EVAL_EMBEDDING_MODEL |
text-embedding-3-large |
评测用 Embedding 模型 |
EVAL_EMBEDDING_BINDING_API_KEY |
依次回退 EVAL_LLM_BINDING_API_KEY → OPENAI_API_KEY |
Embedding 的 API Key |
EVAL_EMBEDDING_BINDING_HOST |
回退到 EVAL_LLM_BINDING_HOST |
Embedding 的自定义端点 URL |
| 性能调优 | ||
EVAL_MAX_CONCURRENT |
2 |
并发评测的测试用例数(1 表示串行) |
EVAL_QUERY_TOP_K |
10 |
每问检索的文档/实体关系数(透传给 LightRAG 的 top_k) |
EVAL_LLM_MAX_RETRIES |
5 |
LLM 请求最大重试次数 |
EVAL_LLM_TIMEOUT |
180 |
LLM 请求超时(秒) |
代码中的实际回退链路(见 eval_rag_quality.py)为:
- LLM Key:
EVAL_LLM_BINDING_API_KEY→OPENAI_API_KEY,两者都未设置时抛EnvironmentError强制中断; - Embedding Key:
EVAL_EMBEDDING_BINDING_API_KEY→EVAL_LLM_BINDING_API_KEY→OPENAI_API_KEY; - Embedding Host:
EVAL_EMBEDDING_BINDING_HOST→EVAL_LLM_BINDING_HOST(未设置即走 OpenAI 官方端点)。
因此"只配 LLM、不配 Embedding"时,Embedding 会自动继承 LLM 的端点与密钥配置。
此外,脚本对自定义端点做了两项兼容性处理:其一,用 LangchainLLMWrapper(..., bypass_n=True) 规避部分端点不支持 n 参数的问题(把"一次生成多条"改为"重复请求多条",见 eval_rag_quality.py);其二,压制两类非关键告警(LangchainLLMWrapper 弃用告警、vLLM/SGLang 类端点不返回 token usage 的告警)。
配置示例
示例 1:默认配置(OpenAI 官方 API)
export OPENAI_API_KEY=sk-xxx
python lightrag/evaluation/eval_rag_quality.py
LLM 与 Embedding 都走 OpenAI 官方 API 并使用默认模型。
示例 2:在 OpenAI 上指定自定义模型
export OPENAI_API_KEY=sk-xxx
export EVAL_LLM_MODEL=gpt-4o-mini
export EVAL_EMBEDDING_MODEL=text-embedding-3-large
python lightrag/evaluation/eval_rag_quality.py
示例 3:LLM 与 Embedding 共用同一个自定义端点
export EVAL_LLM_BINDING_API_KEY=your-custom-key
export EVAL_LLM_BINDING_HOST=http://localhost:8000/v1
export EVAL_LLM_MODEL=qwen-plus
export EVAL_EMBEDDING_MODEL=BAAI/bge-m3
python lightrag/evaluation/eval_rag_quality.py
Embedding 会自动继承 LLM 的端点配置。
示例 4:LLM 与 Embedding 分开配置(成本优化)
# LLM 走 OpenAI 官方(高质量)
export EVAL_LLM_BINDING_API_KEY=sk-openai-key
export EVAL_LLM_MODEL=gpt-4o-mini
# 不设 EVAL_LLM_BINDING_HOST,即使用 OpenAI 官方 API
# Embedding 走本地 vLLM(低成本)
export EVAL_EMBEDDING_BINDING_API_KEY=local-key
export EVAL_EMBEDDING_BINDING_HOST=http://localhost:8001/v1
export EVAL_EMBEDDING_MODEL=BAAI/bge-m3
python lightrag/evaluation/eval_rag_quality.py
示例 5:LLM 与 Embedding 使用各自不同的自定义端点
# LLM 在 A 服务器
export EVAL_LLM_BINDING_API_KEY=key1
export EVAL_LLM_BINDING_HOST=http://llm-server:8000/v1
export EVAL_LLM_MODEL=custom-llm
# Embedding 在 B 服务器
export EVAL_EMBEDDING_BINDING_API_KEY=key2
export EVAL_EMBEDDING_BINDING_HOST=http://embedding-server:8001/v1
export EVAL_EMBEDDING_MODEL=custom-embedding
python lightrag/evaluation/eval_rag_quality.py
示例 6:通过项目根目录的 .env 文件注入
脚本入口处会调用 load_dotenv(dotenv_path=".env", override=False)(见 eval_rag_quality.py),且操作系统已导出的环境变量优先于 .env 文件:
# 在项目根目录创建 .env
cat > .env << EOF
EVAL_LLM_BINDING_API_KEY=your-key
EVAL_LLM_BINDING_HOST=http://localhost:8000/v1
EVAL_LLM_MODEL=qwen-plus
EVAL_EMBEDDING_MODEL=BAAI/bge-m3
EOF
# 运行评测(自动加载 .env)
python lightrag/evaluation/eval_rag_quality.py
六、并发控制与速率限制
评测框架内置了两级并发控制(two-stage semaphore)来规避 API 限流。代码中按 EVAL_MAX_CONCURRENT 建立两个信号量(见 eval_rag_quality.py):
- 阶段一(RAG 问答):信号量容量为
EVAL_MAX_CONCURRENT × 2,保证评测阶段有足够的待评答案,避免饥饿; - 阶段二(RAGAS 打分):信号量容量为
EVAL_MAX_CONCURRENT,是真正的瓶颈控制点。
同时脚本复用一个带连接池的 httpx.AsyncClient(连接超时 180s、读超时 300s,见 eval_rag_quality.py),并为每个用例创建独立的 tqdm 进度条且互不重叠。
为什么需要并发控制:
- RAGAS 内部对每个测试用例会发起多次并发的 LLM 调用(Faithfulness、Answer Relevance、Context Recall、Context Precision 各若干轮);
- Context Precision 指标每检索到一份文档就要调一次 LLM,
EVAL_QUERY_TOP_K=10时单用例就多出约 10 次调用; - 再乘以并发数(
EVAL_MAX_CONCURRENT × 单用例 LLM 调用数),极易瞬间打爆 API 配额。
默认配置(偏保守):
EVAL_MAX_CONCURRENT=2 # 少量并行(1 则为串行逐条评测)
EVAL_QUERY_TOP_K=10 # LightRAG 的 top_k 查询参数
EVAL_LLM_MAX_RETRIES=5 # 失败请求最多重试 5 次
EVAL_LLM_TIMEOUT=180 # 单次请求超时 3 分钟
常见问题与速解:
| 现象 | 解决办法 |
|---|---|
| 告警 "LM returned 1 generations instead of 3" | 将 EVAL_MAX_CONCURRENT 降为 1,或调低 EVAL_QUERY_TOP_K |
| Context Precision 返回 NaN | 调低 EVAL_QUERY_TOP_K,减少单用例 LLM 调用量 |
| 限流错误(HTTP 429) | 调大 EVAL_LLM_MAX_RETRIES 并调小 EVAL_MAX_CONCURRENT |
| 请求超时 | 将 EVAL_LLM_TIMEOUT 提高到 180 秒或以上 |
七、测试数据集:格式与自定义
内置 sample_dataset.json 含 6 个与 LightRAG 相关的通用问题(幻觉解决方案、RAG 三要素、检索性能对比、支持的向量库、四项评估指标、核心优势)。评测你自己的文档时,问题必须与你已索引的语料匹配,否则检索不到上下文、得分无意义。文件按如下 JSON 结构组织:
{
"test_cases": [
{
"question": "Your question here",
"ground_truth": "Expected answer from your data",
"project": "evaluation_project_name"
}
]
}
各字段语义:question 为被测问题;ground_truth 为期望回答(用于 Context Recall 等需要参考答案的指标,但脚本在构造评测数据集时以真实检索上下文喂给 RAGAS,见下文源码流程一节);project 为可选的归类标签,会写入结果便于分组分析。
八、结果解读:如何理解你的得分
分数区间
- 0.80–1.00:优秀(接近生产可用)
- 0.60–0.80:良好(仍有提升空间)
- 0.40–0.60:较差(需要优化)
- 0.00–0.40:严重(存在重大问题)
低分指标的含义
| 指标 | 低分通常说明 |
|---|---|
| Faithfulness | 回答出现幻觉或不实信息,未忠实于检索上下文 |
| Answer Relevance | 回答没有对准用户真正问的内容 |
| Context Recall | 检索环节漏掉了关键信息(召回不足) |
| Context Precision | 检索结果混入大量无关内容(噪声多) |
优化方向
- Faithfulness 偏低:重点改善知识抽取质量、优化文档切分(chunking)策略,并调低检索生成时的温度。结合 LightRAG 的实现位置,实体抽取提示词与抽取质量直接决定上下文质量,可在 lightrag/prompt.py 中针对你的语料定制实体/关系抽取模板。
- Answer Relevance 偏低:改进提示词工程、增强对查询意图的理解,并检查语义相似度阈值设置是否合理。
- Context Recall 偏低:增大检索的
top_k结果数、更换更强的 Embedding 模型、改进文档预处理。 - Context Precision 偏低:改用更小更聚焦的切块、增加检索后过滤、整体改进切分策略。
九、源码视角:一次评测调用的完整链路
深入 eval_rag_quality.py 可以看到单用例评测的完整数据流,理解它有助于定位"得分为何偏低"。
步骤 1:向 LightRAG 发起查询。 每个用例调用 generate_rag_response(),请求体(见 eval_rag_quality.py)为:
payload = {
"query": question,
"mode": "mix", # 混合检索模式
"include_references": True, # 返回引用
"include_chunk_content": True, # 关键:引用中带上分块原文
"response_type": "Multiple Paragraphs",
"top_k": int(os.getenv("EVAL_QUERY_TOP_K", "10")),
}
若设置了 LIGHTRAG_API_KEY 环境变量,请求会附带 X-API-Key 头用于服务端鉴权(见 eval_rag_quality.py)。
步骤 2:从引用中提取真实检索上下文。 RAGAS 评测必须使用实际检索到的上下文而非 ground_truth。脚本遍历响应中的 references,把每条引用里 content 字段的多个分块展开为独立上下文列表(见 eval_rag_quality.py)——注意一个文件可能对应多个分块,因此是"展开扁平化"处理。
步骤 3:构造 RAGAS 数据集并打分。 组装 question / answer / contexts / ground_truth 四列的 datasets.Dataset,对每个用例新实例化四个指标后调用 evaluate()(见 eval_rag_quality.py)。每次重建指标实例是有意为之——并发评测时复用同一实例会产生状态串扰。
步骤 4:统计与落盘。 得分写入结果字典;综合分剔除 NaN 后取平均;run() 汇总后把完整报告写入 results/results_YYYYMMDD_HHMMSS.json(含原始回答截断、各指标分、耗时、benchmark 汇总),并用 csv.DictWriter 同步导出 results_YYYYMMDD_HHMMSS.csv(字段:test_number、question、project、四项指标、ragas_score、status、timestamp,见 eval_rag_quality.py)。
因此一次成功的评测同时依赖三个环节协同正确:LightRAG 服务可用(含已索引文档)→ 检索返回带原文的引用 → RAGAS 按四项指标打分,任何一环异常都会体现为单用例 error 或 NaN。
十、故障排查(Troubleshooting)
"ModuleNotFoundError: No module named 'ragas'"
pip install ragas datasets
"Warning: LM returned 1 generations instead of requested 3" 或 Context Precision 为 NaN
成因:该告警通常意味着 API 被限流或并发请求过载。RAGAS 每个用例会发起多轮 LLM 调用(Faithfulness、Relevancy、Recall、Precision),其中 Context Precision 按检索文档数逐篇调用(EVAL_QUERY_TOP_K=10 时约为 10 次),并发评测时总请求量约为 EVAL_MAX_CONCURRENT × 单用例调用数。
按优先级排序的解法:
-
串行评测:
export EVAL_MAX_CONCURRENT=1 python lightrag/evaluation/eval_rag_quality.py -
减少检索文档数(直接砍半 Context Precision 的 LLM 调用):
export EVAL_QUERY_TOP_K=5 python lightrag/evaluation/eval_rag_quality.py -
提高重试与超时:
export EVAL_LLM_MAX_RETRIES=10 export EVAL_LLM_TIMEOUT=180 python lightrag/evaluation/eval_rag_quality.py -
使用配额更高的 API(如有条件):升级到更高 RPM 的账号档位,或改用无速率限制的自托管 OpenAI 兼容服务。
"AttributeError: 'InstructorLLM' object has no attribute 'agenerate_prompt'" 或结果全为 NaN
该错误常见于 RAGAS 0.3.x 且未显式配置 LLM 与 Embedding 的场景。本框架已自动处理:通过环境变量配置评测模型,并显式创建 RAGAS 所需的 LLM 与 Embeddings 实例。因此只需确保设置了以下任一变量:
OPENAI_API_KEY(默认途径)EVAL_LLM_BINDING_API_KEY(自定义 API Key 途径)
"No sample_dataset.json found"
请确认在项目根目录运行:
cd /path/to/LightRAG
python lightrag/evaluation/eval_rag_quality.py
评测期间 LightRAG 查询 API 报错
评测的打分 LLM 默认为 OpenAI 系列模型,请确认:API Key 已写入 .env(或已导出)、网络连接稳定、所用模型在当前端点可用。
评测要求先运行 LightRAG API 服务
评测器会访问运行中的 LightRAG API(默认 http://localhost:9621)。请确保:
- LightRAG API 服务已启动(
python lightrag/api/lightrag_server.py,生产环境亦可通过lightrag-server入口脚本启动); - 文档已索引进你的 LightRAG 实例(可通过 WebUI 上传,或使用 API/Python SDK 灌入);
- 评测端点(
-r/LIGHTRAG_API_URL)与正在运行的服务地址一致。
十一、端到端复现与结果样例
完整的推荐执行顺序:
- 启动 LightRAG API 服务;
- 将 sample_documents/ 下的样例文档通过 WebUI(或 API)灌入 LightRAG 完成索引;
- (可选)先跑离线预检
python lightrag/evaluation/offline_retrieval_check.py --strict; - 运行
python lightrag/evaluation/eval_rag_quality.py; - 在
results/目录审阅 JSON/CSV 结果。
一次成功运行的控制台输出大致如下(示例展示的是 6 个用例、gpt-4.1 打分模型的日志结构;具体数值取决于你的模型与语料):
INFO: ======================================================================
INFO: 🔍 RAGAS Evaluation - Using Real LightRAG API
INFO: ======================================================================
INFO: Evaluation Models:
INFO: • LLM Model: gpt-4.1
INFO: • Embedding Model: text-embedding-3-large
INFO: • Endpoint: OpenAI Official API
INFO: Concurrency & Rate Limiting:
INFO: • Query Top-K: 10 Entities/Relations
INFO: • LLM Max Retries: 5
INFO: • LLM Timeout: 180 seconds
INFO: Test Configuration:
INFO: • Total Test Cases: 6
INFO: • Test Dataset: sample_dataset.json
INFO: • LightRAG API: http://localhost:9621
INFO: • Results Directory: results
INFO: ======================================================================
INFO: 🚀 Starting RAGAS Evaluation of LightRAG System
INFO: 🔧 RAGAS Evaluation (Stage 2): 2 concurrent
INFO: ======================================================================
INFO: # | Question ... | Faith | AnswRel | CtxRec | CtxPrec | RAGAS | Status
INFO: 1 | How does LightRAG solve the halluc... | 1.0000 | 1.0000 | 1.0000 | 1.0000 | 1.0000 | ✓
INFO: 2 | What are the three main components... | 0.8500 | 0.5790 | 1.0000 | 1.0000 | 0.8573 | ✓
INFO: 3 | How does LightRAG's retrieval perf... | 0.8056 | 1.0000 | 1.0000 | 1.0000 | 0.9514 | ✓
INFO: ======================================================================
INFO: Total Tests: 6
INFO: Successful: 6
INFO: Failed: 0
INFO: Success Rate: 100.00%
INFO: ======================================================================
INFO: 📈 BENCHMARK RESULTS (Average)
INFO: ======================================================================
INFO: Average Faithfulness: 0.9053
INFO: Average Answer Relevance: 0.8646
INFO: Average Context Recall: 1.0000
INFO: Average Context Precision: 1.0000
INFO: Average RAGAS Score: 0.9425
INFO: Min RAGAS Score: 0.8573
INFO: Max RAGAS Score: 1.0000
延伸阅读
- 原始评测说明文档见 lightrag/evaluation/README_EVALUASTION_RAGAS.md;
- 样例语料的说明与"如何灌入、期望得分"见 lightrag/evaluation/sample_documents/README.md;
- 评估主脚本 eval_rag_quality.py 与离线预检脚本 offline_retrieval_check.py 可直接阅读以深入定制;
- 想了解 RAGAS 框架本身的指标定义与最新用法,请参阅 RAGAS 官方文档与官方仓库(搜索 "ragas" 即可找到)。