首页
/ DeepEval v2.7.9发布:v3.0预发布版本重大更新解析

DeepEval v2.7.9发布:v3.0预发布版本重大更新解析

2025-06-09 14:08:51作者:殷蕙予

DeepEval是一个专注于大语言模型(LLM)评估的开源框架,它帮助开发者系统地测试和验证LLM应用的性能表现。本次发布的v2.7.9版本是v3.0正式发布前的预发布版本,引入了一些重要的架构变更和新功能,值得开发者特别关注。

重大变更解析

评估函数配置重构

在之前的版本中,evaluate()函数包含了13个以上的参数来控制显示、异步行为、缓存等各种功能,这使得函数接口变得臃肿且难以维护。新版本对此进行了重大重构,将这些控制参数抽象为"配置对象"。

这种设计模式的变化带来了几个显著优势:

  1. 更好的代码组织:相关配置被逻辑分组,提高了代码的可读性
  2. 更强的类型安全:配置对象可以定义明确的类型提示
  3. 更易扩展:未来新增配置项不会影响函数签名

使用示例:

from deepeval.evaluate.configs import AsyncConfig
from deepeval import evaluate

# 使用异步配置对象替代多个独立参数
evaluate(..., async_config=AsyncConfig(max_concurrent=20))

红队测试功能迁移

红队测试(Red Teaming)相关功能已正式迁移至DeepTeam项目。这是项目架构调整的一部分,目的是让DeepEval更专注于核心评估功能,而将对抗性测试等专业领域交给专门的工具处理。

重要新功能:动态嵌套评估

评估复杂LLM应用中的嵌套组件一直是个挑战。新版本引入了动态评估机制,允许为应用中的不同组件应用不同的评估指标集。

这项功能通过@observe装饰器和update_current_span_test_case函数实现,主要特点包括:

  1. 细粒度控制:可以为每个函数或组件指定特定的评估指标
  2. 上下文感知:评估能够感知调用链中的上下文信息
  3. 无缝集成:与现有的测试用例系统完美兼容

典型使用模式:

from deepeval.test_case import LLMTestCase
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.tracing import observe, update_current_span_test_case

@observe(metrics=[AnswerRelevancyMetric()])
def complete(query: str):
    # LLM调用逻辑
    response = get_llm_response(query)
    
    # 更新当前span的测试用例
    update_current_span_test_case(
        test_case=LLMTestCase(input=query, output=response)
    )
    return response

升级建议

对于现有项目,升级到v2.7.9版本需要注意:

  1. 检查所有evaluate()调用点,将分散的参数转换为配置对象
  2. 红队测试相关代码需要迁移到DeepTeam
  3. 考虑在复杂组件中采用新的动态评估机制

这个预发布版本为v3.0的稳定性和功能性奠定了基础,建议开发者尽早适配这些变更,以便顺利过渡到即将到来的正式版本。

登录后查看全文
热门项目推荐

项目优选

收起
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
340
1.2 K
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
190
267
kernelkernel
deepin linux kernel
C
22
6
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
901
537
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
141
188
金融AI编程实战金融AI编程实战
为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Jupyter Notebook
62
59
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
376
387
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.09 K
0
note-gennote-gen
一款跨平台的 Markdown AI 笔记软件,致力于使用 AI 建立记录和写作的桥梁。
TSX
87
4