阿里巴巴Canal屏蔽数据库查询日志同步至RocketMQ的配置方法

在使用阿里巴巴开源的Canal 1.17版本将数据库变更数据发送至RocketMQ时，当数据库开启了binlog_rows_query_log_events参数后，可能会遇到两个典型问题：

1. 性能影响：数据库执行的查询语句会被完整记录并发送到RocketMQ，增加了网络传输负载和处理开销
2. 消息体过大：当SQL语句包含大文本内容时，会导致MQ消息体超出限制而报错

问题背景分析

MySQL的binlog_rows_query_log_events参数开启后，会在二进制日志中记录完整的SQL语句。这对于数据库审计和问题排查很有帮助，但在通过Canal进行数据同步的场景下，这些查询语句通常是不需要同步到消息队列中的。

解决方案

Canal提供了专门的配置参数来解决这个问题：

canal.instance.filter.query.dml = true

这个配置的作用是过滤掉binlog中的查询语句(DML)，只同步实际的数据变更操作。启用后可以有效解决上述两个问题：

1. 提升性能：减少了不必要的数据传输和处理
2. 避免大消息：排除了可能包含大文本的SQL语句

实现原理

当配置canal.instance.filter.query.dml=true时，Canal在解析binlog时会进行以下处理：

1. 识别binlog事件类型
2. 过滤掉QUERY_EVENT类型的事件(即SQL语句)
3. 只处理WRITE/UPDATE/DELETE等实际数据变更事件

最佳实践建议

1. 对于大多数数据同步场景，建议保持此配置为true
2. 只有在确实需要分析SQL语句的特殊场景下才设置为false
3. 配置变更后需要重启Canal实例才能生效
4. 可以通过Canal日志验证过滤效果

通过合理配置这一参数，可以在保证数据同步功能的同时，优化系统性能和稳定性。