首页
/ DeepEval v2.7.9发布:v3.0预发布版本重大更新解析

DeepEval v2.7.9发布:v3.0预发布版本重大更新解析

2025-06-09 07:47:59作者:殷蕙予

DeepEval是一个专注于大语言模型(LLM)评估的开源框架,它帮助开发者系统地测试和验证LLM应用的性能表现。本次发布的v2.7.9版本是v3.0正式发布前的预发布版本,引入了一些重要的架构变更和新功能,值得开发者特别关注。

重大变更解析

评估函数配置重构

在之前的版本中,evaluate()函数包含了13个以上的参数来控制显示、异步行为、缓存等各种功能,这使得函数接口变得臃肿且难以维护。新版本对此进行了重大重构,将这些控制参数抽象为"配置对象"。

这种设计模式的变化带来了几个显著优势:

  1. 更好的代码组织:相关配置被逻辑分组,提高了代码的可读性
  2. 更强的类型安全:配置对象可以定义明确的类型提示
  3. 更易扩展:未来新增配置项不会影响函数签名

使用示例:

from deepeval.evaluate.configs import AsyncConfig
from deepeval import evaluate

# 使用异步配置对象替代多个独立参数
evaluate(..., async_config=AsyncConfig(max_concurrent=20))

红队测试功能迁移

红队测试(Red Teaming)相关功能已正式迁移至DeepTeam项目。这是项目架构调整的一部分,目的是让DeepEval更专注于核心评估功能,而将对抗性测试等专业领域交给专门的工具处理。

重要新功能:动态嵌套评估

评估复杂LLM应用中的嵌套组件一直是个挑战。新版本引入了动态评估机制,允许为应用中的不同组件应用不同的评估指标集。

这项功能通过@observe装饰器和update_current_span_test_case函数实现,主要特点包括:

  1. 细粒度控制:可以为每个函数或组件指定特定的评估指标
  2. 上下文感知:评估能够感知调用链中的上下文信息
  3. 无缝集成:与现有的测试用例系统完美兼容

典型使用模式:

from deepeval.test_case import LLMTestCase
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.tracing import observe, update_current_span_test_case

@observe(metrics=[AnswerRelevancyMetric()])
def complete(query: str):
    # LLM调用逻辑
    response = get_llm_response(query)
    
    # 更新当前span的测试用例
    update_current_span_test_case(
        test_case=LLMTestCase(input=query, output=response)
    )
    return response

升级建议

对于现有项目,升级到v2.7.9版本需要注意:

  1. 检查所有evaluate()调用点,将分散的参数转换为配置对象
  2. 红队测试相关代码需要迁移到DeepTeam
  3. 考虑在复杂组件中采用新的动态评估机制

这个预发布版本为v3.0的稳定性和功能性奠定了基础,建议开发者尽早适配这些变更,以便顺利过渡到即将到来的正式版本。

登录后查看全文

项目优选

收起
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
15
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
559
410
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
124
207
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
74
145
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
426
38
MateChatMateChat
前端智能化场景解决方案UI库,轻松构建你的AI应用,我们将持续完善更新,欢迎你的使用与建议。 官网地址:https://matechat.gitcode.com
693
91
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
98
253
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
298
1.03 K
Dora-SSRDora-SSR
Dora SSR 是一款跨平台的游戏引擎,提供前沿或是具有探索性的游戏开发功能。它内置了Web IDE,提供了可以轻轻松松通过浏览器访问的快捷游戏开发环境,特别适合于在新兴市场如国产游戏掌机和其它移动电子设备上直接进行游戏开发和编程学习。
C++
20
4
CS-BooksCS-Books
🔥🔥超过1000本的计算机经典书籍、个人笔记资料以及本人在各平台发表文章中所涉及的资源等。书籍资源包括C/C++、Java、Python、Go语言、数据结构与算法、操作系统、后端架构、计算机系统知识、数据库、计算机网络、设计模式、前端、汇编以及校招社招各种面经~
91
11