Apache InLong 2.1.0版本发布：数据集成平台的全方位升级

项目概述

Apache InLong是一个一站式大数据集成平台，提供自动、安全、可靠和高性能的数据传输能力，支持海量数据的实时和批量采集、聚合与分发。该项目最初由腾讯内部孵化，后捐赠给Apache基金会并成为顶级项目。InLong的核心价值在于简化大数据处理流程，帮助企业快速构建数据管道。

2.1.0版本核心升级

Agent模块增强

2.1.0版本对Agent模块进行了多项重要改进：

1. 稳定性提升：优化了进程退出机制，加快退出速度的同时确保在退出前保存偏移量，有效减少数据重复问题。新增了异常处理机制，特别是针对审计SDK的操作。

2. 多进程支持：现在Agent能够支持多个进程同时运行，提高了资源利用率和处理能力。同时严格保证新实例按提交顺序处理，确保数据有序性。

3. 数据源扩展：新增了对COS(腾讯云对象存储)和SQL数据源的支持，丰富了数据采集能力。特别是COS数据源的加入，使得直接从对象存储采集数据成为可能。

4. 监控优化：默认情况下不再上报Agent状态和文件指标，减轻了系统负载。同时改进了内存管理类，支持添加信号量，提升了资源控制能力。

Manager管理控制台改进

管理控制台在2.1.0版本中获得了多项功能增强：

1. 调度引擎多样化：支持同时使用多种调度引擎，包括新加入的Dolphinscheduler和Airflow引擎，提供了更灵活的调度选择。

2. 安装部署优化：改进了Agent安装过程，支持多线程处理安装任务，并增加了安装日志的时间显示。同时优化了安装包下载机制，使用临时目录存储下载内容。

3. 权限与验证：增加了对普通用户创建流和sink的权限验证，提升了系统安全性。同时增强了参数校验，如对OceanusBase URL和广告地址的验证。

4. 任务管理：支持基于源ID添加数据任务，并提供了脏数据查询API，便于问题排查。

SDK功能扩展

SDK在2.1.0版本中获得了显著的功能增强：

1. Transform功能丰富：新增了多种JSON处理函数(JSON_INSERT、JSON_REMOVE、JSON_REPLACE、JSON_SET)，以及数学函数(阶乘、斐波那契数列)，增强了数据处理能力。

2. 脏数据处理：新增了脏数据收集SDK，支持异步和同步报告脏数据，并实现了发送重试机制，提高了数据处理的可靠性。

3. 性能优化：优化了UUIDv4生成速度(Go SDK)、节点连接管理和代理配置管理等核心功能，提升了整体性能。

Sort模块升级

Sort模块在2.1.0版本中也有重要更新：

1. 连接器扩展：新增了Elasticsearch连接器支持(Flink 1.18)，丰富了数据输出选项。

2. 监控增强：为多个连接器(Pulsar、MongoDB CDC、SQLServer CDC)添加了新的源指标，便于性能监控。

3. 功能优化：TubeMQ Connector源支持脏数据归档，Kafka Sink支持KV分隔符配置，提高了使用灵活性。

审计系统改进

审计系统在2.1.0版本中获得了全面的监控能力增强：

1. 全链路监控：为审计代理(Audit Proxy)、存储(Audit Store)和服务(Audit Service)都添加了自身的指标监控系统，实现了对审计系统本身的全面监控。

2. 性能优化：提供了异步刷新审计数据的接口，优化了指标统计键，提高了处理效率。

3. 健壮性增强：改进了异常处理，使用Throwable替代Exception捕获Java包冲突，提高了系统稳定性。

版本亮点

1. 多云存储支持：新增的COS数据源支持，结合已有的能力，使InLong能够更好地适应多云环境的数据集成需求。

2. 调度灵活性：多调度引擎的支持让用户可以根据实际需求选择最适合的调度方案，提高了系统的适应性。

3. 数据质量保障：全面的脏数据处理能力和审计监控，确保了数据管道的可靠性和可观测性。

4. 性能优化：从Agent到SDK的多处性能改进，提升了整个平台的处理效率。

总结

Apache InLong 2.1.0版本在数据采集、处理、监控和调度等多个维度进行了全面升级，进一步巩固了其作为一站式大数据集成平台的地位。新版本不仅增强了核心功能，还扩展了对多种数据源和调度引擎的支持，为企业在复杂数据环境下的集成需求提供了更加完善的解决方案。特别是对数据质量和系统可观测性的重视，使得该版本在可靠性方面有了显著提升，适合对数据管道有高标准要求的企业采用。