TruLens在LlamaIndex RAG应用中的上下文选择问题解析

问题背景

在使用TruLens评估LlamaIndex构建的RAG(检索增强生成)应用时，开发者在设置chat_mode="context"参数时遇到了上下文选择失效的问题。这个问题表现为无法正确获取和评估检索到的上下文内容，导致相关评估指标无法计算。

问题现象

当开发者尝试使用TruLlama.select_source_nodes().node.text选择上下文内容时，系统报错提示"无法在app/record中定位app.query.rets.source_nodes[:].node.text"。这个问题仅在chat_mode="context"时出现，而默认模式下工作正常。

技术分析

通过深入分析调用栈记录，我们发现LlamaIndex在chat_mode="context"下的工作流程与常规模式有所不同：

1. 调用路径差异：在context模式下，系统通过_retriever.retrieve方法获取内容，而不是常规的query方法
2. 多轮调用问题：检索器可能被多次调用，导致上下文内容分散在多个调用记录中
3. 数据结构变化：返回的结果结构可能与传统模式不同，需要调整选择路径

解决方案

针对上述发现，我们推荐以下解决方案：

1. 调整选择器路径：将传统的query.rets路径替换为_retriever.retrieve.rets

   Select.RecordCalls._retriever.retrieve.rets.source_nodes[:].node.text.collect()
   

2. 处理多轮调用：当检索器被多次调用时，可以：

   • 指定特定轮次：[0]或[1]
   • 合并所有结果：[:]

3. 完整评估函数示例：

f_groundedness = (
    Feedback(provider.groundedness_measure_with_cot_reasons, name="Groundedness")
    .on(Select.RecordCalls._retriever.retrieve[:].rets.source_nodes[:].node.text.collect())
    .on_output()
)

f_context_relevance = (
    Feedback(provider.context_relevance_with_cot_reasons, name="Context Relevance")
    .on_input()
    .on(Select.RecordCalls._retriever.retrieve[:].rets.source_nodes[:].node.text.collect())
    .aggregate(np.mean)
)

最佳实践建议

1. 调试技巧：在遇到选择器问题时，可以先打印调用栈信息，了解实际的数据路径
2. 版本兼容性：注意不同版本LlamaIndex的API变化，及时调整选择器路径
3. 错误处理：对于可能的多轮调用情况，使用[:]选择所有结果通常是最安全的选择
4. 性能考量：当处理大量上下文时，考虑使用更精确的选择器路径而非通配符，以提高评估效率

通过以上调整，开发者可以顺利在chat_mode="context"下使用TruLens进行RAG应用的全面评估，获取上下文相关性、答案相关性和事实基础性等关键指标。