Canal 1.1.8 读取MySQL 5.7.36 binlog时DDL语句缺失问题解析

问题现象

在使用Canal 1.1.8版本从MySQL 5.7.36数据库读取binlog并发送到RocketMQ时，发现部分DDL(数据定义语言)语句缺失，特别是只有ALTER TABLE这类修改表结构的语句能够正常捕获，而其他类型的DDL语句如CREATE TABLE等未能正确同步。

问题分析

经过排查，发现问题的根源在于Canal的配置。在默认情况下，Canal需要明确指定要监听的数据库和表。如果配置不当，可能会导致部分DDL事件无法被正确捕获。

解决方案

解决此问题的关键在于正确配置Canal的监听范围：

1. 整库监听配置：将Canal配置为监听整个数据库，而不仅仅是特定的表。这样可以确保捕获所有DDL操作，包括CREATE、ALTER、DROP等语句。

2. 表过滤配置：如果确实需要只监听特定表，应确保过滤规则正确配置，避免因过滤规则过于严格而遗漏重要DDL事件。

配置建议

对于需要完整捕获DDL变更的场景，推荐采用以下配置策略：

1. 在Canal的instance配置中，设置canal.instance.filter.regex为.*\\..*，表示监听所有数据库的所有表。

2. 如果业务上确实需要只监听特定表，应确保DDL操作涉及的表都在监听列表中，或者配置适当的表名匹配模式。

技术原理

MySQL的binlog中记录了所有数据库变更事件，包括DML(数据操作语言)和DDL(数据定义语言)。Canal通过模拟MySQL slave的交互协议，从master获取binlog事件并解析。

对于DDL事件，MySQL会在binlog中以特殊事件类型记录。Canal需要正确配置监听范围才能捕获这些事件。当配置为只监听特定表时，系统会过滤掉与这些表无关的DDL事件，这可能导致部分重要的数据库结构变更信息丢失。

最佳实践

1. 对于需要完整审计DDL变更的场景，建议配置整库监听。

2. 在RocketMQ消费者端可以实现进一步的过滤逻辑，而不是在Canal端过度限制。

3. 定期检查Canal的监控指标，确保没有遗漏重要的事件。

4. 对于生产环境，建议先在测试环境验证配置效果，确保所有需要的变更事件都能被正确捕获。

通过以上配置调整和最佳实践，可以确保Canal完整捕获MySQL数据库的所有结构变更事件，满足数据同步和变更审计的需求。