DBus 数据总线：实时数据流处理的利器

项目介绍

DBus（数据总线）是一个专注于数据的收集及实时数据流计算的开源项目。通过简单灵活的配置，DBus能够以无侵入的方式对源端数据进行采集，采用高可用的流式计算框架，对公司各个IT系统在业务流程中产生的数据进行汇聚，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费。DBus支持多种数据源，如Oracle、MySQL、日志等，目前开源版本主要支持MySQL数据源。

项目技术分析

DBus的技术架构主要分为两个部分：源端数据采集和多租户数据分发。这两个部分之间以Kafka为媒介进行衔接。DBus的核心技术包括：

• 日志抓取模块：从RDBMS的备库中读取增量日志，并实时同步到Kafka中。
• 增量转换模块：将增量数据实时转换为UMS数据，处理schema变更、脱敏等。
• 全量抽取程序：将全量数据从RDBMS备库拉取并转换为UMS数据。
• 日志算子处理模块：将来自不同抓取端的日志数据按照算子规则进行结构化处理。
• 心跳监控模块：对于RDBMS类源，定时向源端发送心跳数据，并在末端进行监控，发送预警通知。
• web管理模块：管理所有相关模块。

项目及技术应用场景

DBus的主要应用场景包括：

• 数仓平台和数据分析平台：作为数据源，提供实时数据流。
• 实时营销决策：利用实时数据流进行快速决策。
• 实时报表展示：提供实时数据支持报表的动态展示。
• 异构数据实时同步：实现不同系统间的数据实时同步。
• 其他实时性要求高的系统：满足各种对数据实时性要求高的业务需求。

项目特点

DBus的主要特点包括：

• 无侵入方式接入多种数据源：业务系统无需任何修改，以无侵入性读取数据库系统的日志获得增量数据实时变化。
• 海量数据实时传输：使用基于Storm的流式计算框架，秒级延时，整体无单点保证高可用性。
• 多租户支持：提供用户管理、资源分配、Topology管理、租户表管理等丰富的功能，实现多租户资源隔离、差异化数据安全。
• 感知源端schema变更：当源端发生schema变更时，能自动感知schema变化，调整UMS版本号，并通过Kafka消息和邮件通知下游。
• 数据实时脱敏：可根据需求对指定列数据进行实时脱敏，支持多种脱敏策略。
• 初始化加载：支持高效的初始化加载和重新加载，支持任意指定输出topic，灵活应对客户需求。
• 统一标准化消息传输协议：使用统一的UMS(JSON格式)消息schema格式输出便于消费，保证数据顺序性。
• 可靠多路消息订阅分发：使用Kafka存储和传递消息保证可靠性和便捷的多用户订阅。
• 支持分区表/系列表数据汇集：支持分区表的数据汇集到一个“逻辑表”，也可将用户自定义的系列表数据汇集到一个“逻辑表”。
• 实时监控&预警：可视化监控系统能随时查看各数据线实时流量和延时状况，当数据线发生异常时，根据配置策略自动发邮件或短信通知相关负责人。

DBus是一个功能强大且灵活的数据总线系统，适用于各种需要实时数据流处理的场景。无论是数据仓库、实时报表、还是实时营销决策，DBus都能提供稳定、高效的数据支持。欢迎广大开发者和技术爱好者加入DBus的社区，共同推动项目的发展和完善。

相关链接

• DBus Wiki
• FAQ
• 系统架构
• 编译指南
• 下载发布包
• 许可证
• [交流和问题反馈](https://github.