Apache InLong 2.1.0版本发布：数据集成平台的全面升级

Apache InLong作为一款开源的大数据集成平台，专注于提供高效、可靠的数据收集、聚合和分发能力。近日，InLong社区正式发布了2.1.0-RC0版本，该版本在Agent、Dashboard、Manager、SDK、Sort、Audit和TubeMQ等多个核心组件上进行了重大改进和功能增强。

Agent组件的重要改进

在2.1.0版本中，Agent组件获得了显著的性能提升和功能扩展。首先，Agent现在默认不再上报状态和文件指标，这减少了不必要的网络开销。同时，安装程序增加了对进程不存在的重试等待机制，有效防止了误判情况的发生。

新版本还优化了心跳管理机制，HeartbeatManager不再创建DefaultMessageSender，提高了系统稳定性。在数据采集方面，Agent现在默认使用本地配置的审计地址，并支持任务开始和结束时间使用字符串类型，提高了兼容性。

特别值得注意的是，2.1.0版本增强了Agent的多进程支持能力，能够严格按提交顺序处理新实例。在数据偏移量处理方面，Agent现在会在退出前保存偏移量，减少数据重复，并且同时保存行和字节位置信息，确保数据采集的精确性。

Dashboard功能增强

Dashboard在2.1.0版本中获得了多项用户体验改进。MySQL节点密码现在不再是必填项，提高了配置灵活性。审计指标数据可以导出为CSV格式，方便用户进行离线分析。

界面交互方面，Dashboard增加了多项优化：数据预览中的body字段现在能够正确区分显示；集群接口增加了ClusterTag过滤条件；多个下拉框增加了清除和搜索功能；sink下拉框也支持了搜索功能，大大提升了操作效率。

Manager管理能力提升

Manager组件在2.1.0版本中获得了多项管理能力增强。现在支持基于IP地址查询心跳信息，并能根据流状态判断是否下发streamSource。集群管理方面，增加了IP只能属于一个集群的限制，提高了管理规范性。

新版本还改进了Agent安装流程，支持多线程处理安装任务，并显示操作时间。在数据任务管理方面，增加了添加数据任务的openAPI，并支持基于源ID添加数据任务。此外，Manager现在能够查询集群节点操作记录，增强了运维能力。

SDK功能扩展

SDK在2.1.0版本中获得了多项新功能支持。Transform功能新增了阶乘函数、斐波那契函数支持，SQL解析能力增强，支持in、any、some、all等操作符。JSON处理方面新增了JSON_INSERT、JSON_REMOVE、JSON_REPLACE和JSON_SET函数支持。

脏数据处理能力得到显著增强，支持异步和同步报告脏数据，并支持重试发送。Transform SDK现在支持RowData源和接收器，提高了数据处理灵活性。性能方面，优化了SequentialID类实现，提高了UUIDv4生成速度。

Sort组件优化

Sort组件在2.1.0版本中新增了Elasticsearch连接器支持（基于Flink 1.18）。同时，为多个连接器（Pulsar、MongoDB CDC、SQLServer CDC）增加了新的源指标。Tube Connector源现在支持脏数据归档功能。

在KV处理方面，修复了转义字符处理错误的问题，并支持Kafka sink的KV分隔符配置。性能优化方面，移除了InLongBinlog的生成代码，优化了TubeMQ Source的会话密钥生成机制。

审计系统改进

审计系统在2.1.0版本中获得了全面的监控能力增强。新增了Audit Proxy、Audit Store和Audit Service自身的指标监控系统。指标统计键得到优化，提高了查询效率。

新版本还增加了Pulsar生产者创建失败的监控，并提供了异步刷新审计数据的接口。在异常处理方面，使用Throwable替代Exception捕获Java包冲突，增强了系统稳定性。此外，还增加了审计数据合法性验证功能。

TubeMQ改进

TubeMQ组件在2.1.0版本中改进了消费组偏移量管理，现在使用本地文件保存偏移量信息。同时移除了遗留代码，提高了代码质量。Go SDK方面，修复了负载均衡逻辑不完善导致消费突然停止的问题，以及过滤器顺序变更导致的主节点注册不一致问题。

总结

Apache InLong 2.1.0版本是一个功能全面增强的版本，在数据采集、处理、监控和管理各个方面都进行了重要改进。新版本不仅提高了系统稳定性和性能，还增加了多项新功能支持，使InLong平台能够更好地满足企业级大数据集成需求。特别是对多进程支持、脏数据处理和审计监控能力的增强，使得InLong在复杂生产环境中的表现更加出色。