首页
/ OpenLineage 1.31.0版本发布:增强数据血缘追踪能力

OpenLineage 1.31.0版本发布:增强数据血缘追踪能力

2025-06-25 22:39:16作者:申梦珏Efrain

OpenLineage是一个开源的数据血缘追踪框架,它通过收集和标准化不同数据处理工具(如Spark、Flink、dbt等)的元数据,帮助组织理解数据如何在系统中流动。数据血缘追踪对于数据治理、合规性和故障排查至关重要。

核心功能增强

新增LDAP连接字符串支持

在Java客户端中新增了对LDAP连接字符串的支持。LDAP(轻量级目录访问协议)常用于企业级身份验证和目录服务,这一改进使得OpenLineage能够更好地集成到使用LDAP的企业环境中,扩展了其在不同基础设施中的适用性。

dbt-glue适配器支持

新增了对dbt-glue适配器的支持。dbt(data build tool)是一个流行的数据转换工具,而dbt-glue适配器允许dbt在AWS Glue环境中运行。这一增强使得使用AWS Glue作为计算引擎的dbt项目现在也能无缝集成到OpenLineage生态系统中,自动捕获数据转换的血缘关系。

命令行界面(CLI)工具

Python客户端引入了新的CLI工具用于facet生成器。Facet是OpenLineage中用于丰富元数据的扩展机制,这个CLI工具简化了自定义facet的创建过程,使开发者能够更轻松地扩展和定制OpenLineage收集的元数据信息。

血缘追踪改进

父运行ID追踪优化

规范中新增了可选的root父运行ID到ParentRunFacet中。在复杂的数据处理流水线中,一个作业可能由多个层级的父作业触发,这一改进使得能够更清晰地追踪整个作业链的源头,为跨系统作业追踪提供了更好的支持。

Java和Python客户端现在都优先使用parent.root facet作为Kafka消息键的主要来源。这一变化确保了在基于Kafka的消息传递中,血缘关系的父子关系能够更准确地被维护和追踪。

问题修复与稳定性提升

Flink集成修复

修复了Flink2集成中从配置获取作业命名空间的问题。这一修复确保了Flink作业能够正确地被识别和分类,避免了因命名空间错误导致的血缘关系混乱。

Spark集成改进

Spark集成中修复了几个关键问题:

  1. 现在能够从查询字符串中提取列级血缘关系,提供了更细粒度的数据追踪能力
  2. 修复了当RelationV2是SubqueryAlias子节点时重复创建输入数据集的问题
  3. 改进了内部指标通过DebugFacet发送的机制,当没有配置其他注册表时,会注册简单的micrometer注册表

JDBC连接处理

修复了Oracle thin JDBC URL规范化的问题。JDBC连接是数据血缘追踪中的重要组成部分,这一修复确保了使用Oracle数据库时的连接信息能够被正确解析和记录。

总结

OpenLineage 1.31.0版本通过新增适配器支持、改进血缘追踪能力和修复关键问题,进一步巩固了其作为数据血缘追踪标准解决方案的地位。这些改进使得组织能够更全面、更准确地追踪数据在复杂生态系统中的流动,为数据治理和合规性提供了更强有力的支持。

登录后查看全文

项目优选

收起
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
295
997
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
498
396
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
114
199
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
61
143
HarmonyOS-ExamplesHarmonyOS-Examples
本仓将收集和展示仓颉鸿蒙应用示例代码,欢迎大家投稿,在仓颉鸿蒙社区展现你的妙趣设计!
Cangjie
357
342
leetcodeleetcode
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
51
15
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
97
251
ArkAnalyzer-HapRayArkAnalyzer-HapRay
ArkAnalyzer-HapRay 是一款专门为OpenHarmony应用性能分析设计的工具。它能够提供应用程序性能的深度洞察,帮助开发者优化应用,以提升用户体验。
Python
18
6
arkanalyzerarkanalyzer
方舟分析器:面向ArkTS语言的静态程序分析框架
TypeScript
34
38
CangjieMagicCangjieMagic
基于仓颉编程语言构建的 LLM Agent 开发框架,其主要特点包括:Agent DSL、支持 MCP 协议,支持模块化调用,支持任务智能规划。
Cangjie
580
41