OpenLineage 1.31.0版本发布:增强数据血缘追踪能力
OpenLineage是一个开源的数据血缘追踪框架,它通过收集和标准化不同数据处理工具(如Spark、Flink、dbt等)的元数据,帮助组织理解数据如何在系统中流动。数据血缘追踪对于数据治理、合规性和故障排查至关重要。
核心功能增强
新增LDAP连接字符串支持
在Java客户端中新增了对LDAP连接字符串的支持。LDAP(轻量级目录访问协议)常用于企业级身份验证和目录服务,这一改进使得OpenLineage能够更好地集成到使用LDAP的企业环境中,扩展了其在不同基础设施中的适用性。
dbt-glue适配器支持
新增了对dbt-glue适配器的支持。dbt(data build tool)是一个流行的数据转换工具,而dbt-glue适配器允许dbt在AWS Glue环境中运行。这一增强使得使用AWS Glue作为计算引擎的dbt项目现在也能无缝集成到OpenLineage生态系统中,自动捕获数据转换的血缘关系。
命令行界面(CLI)工具
Python客户端引入了新的CLI工具用于facet生成器。Facet是OpenLineage中用于丰富元数据的扩展机制,这个CLI工具简化了自定义facet的创建过程,使开发者能够更轻松地扩展和定制OpenLineage收集的元数据信息。
血缘追踪改进
父运行ID追踪优化
规范中新增了可选的root父运行ID到ParentRunFacet中。在复杂的数据处理流水线中,一个作业可能由多个层级的父作业触发,这一改进使得能够更清晰地追踪整个作业链的源头,为跨系统作业追踪提供了更好的支持。
Java和Python客户端现在都优先使用parent.root facet作为Kafka消息键的主要来源。这一变化确保了在基于Kafka的消息传递中,血缘关系的父子关系能够更准确地被维护和追踪。
问题修复与稳定性提升
Flink集成修复
修复了Flink2集成中从配置获取作业命名空间的问题。这一修复确保了Flink作业能够正确地被识别和分类,避免了因命名空间错误导致的血缘关系混乱。
Spark集成改进
Spark集成中修复了几个关键问题:
- 现在能够从查询字符串中提取列级血缘关系,提供了更细粒度的数据追踪能力
- 修复了当RelationV2是SubqueryAlias子节点时重复创建输入数据集的问题
- 改进了内部指标通过DebugFacet发送的机制,当没有配置其他注册表时,会注册简单的micrometer注册表
JDBC连接处理
修复了Oracle thin JDBC URL规范化的问题。JDBC连接是数据血缘追踪中的重要组成部分,这一修复确保了使用Oracle数据库时的连接信息能够被正确解析和记录。
总结
OpenLineage 1.31.0版本通过新增适配器支持、改进血缘追踪能力和修复关键问题,进一步巩固了其作为数据血缘追踪标准解决方案的地位。这些改进使得组织能够更全面、更准确地追踪数据在复杂生态系统中的流动,为数据治理和合规性提供了更强有力的支持。
热门内容推荐
最新内容推荐
项目优选









