深入解析Canal中DML过滤与行过滤的配置差异

概述

在阿里巴巴开源的Canal项目中，canal.instance.filter.query.dml和canal.instance.filter.rows是两个容易混淆的配置参数。本文将详细解析这两个参数的功能差异、使用场景以及它们之间的相互关系，帮助开发者更好地配置Canal数据同步服务。

参数功能解析

canal.instance.filter.query.dml

这个参数控制的是是否忽略MySQL在ROW模式下额外记录的原始DML SQL语句（QueryLogEvent）。当设置为true时，Canal会过滤掉这些SQL语句；设置为false则会保留。

在MySQL的ROW复制模式下，虽然主要记录的是行变更数据，但有时也会包含原始SQL语句作为补充信息。这个参数就是用来控制是否处理这些补充的SQL信息。

canal.instance.filter.rows

这个参数控制的是是否忽略具体的DML binlog事件，包括：

• WriteRowsLogEvent（插入操作）
• UpdateRowsLogEvent（更新操作）
• DeleteRowsLogEvent（删除操作）

当设置为true时，Canal会过滤掉所有的行变更事件；设置为false则会处理这些事件。这是控制数据同步的核心参数。

实际应用场景

场景一：仅需要行变更数据

如果只需要行变更的详细数据而不关心原始SQL语句，可以这样配置：

canal.instance.filter.query.dml = true
canal.instance.filter.rows = false

场景二：需要原始SQL和行变更数据

如果需要同时获取原始SQL和行变更数据，可以配置为：

canal.instance.filter.query.dml = false 
canal.instance.filter.rows = false

场景三：仅需要原始SQL

如果只需要原始SQL而不需要行变更数据（不常见），可以配置为：

canal.instance.filter.query.dml = false
canal.instance.filter.rows = true

常见问题解答

1. 为什么设置了canal.instance.filter.rows = true就获取不到数据？

   因为canal.instance.filter.rows控制的是行变更事件的过滤，设置为true会过滤掉所有DML操作的实际数据变更事件，自然就获取不到数据了。

2. 为什么在ROW模式下看不到SQL语句？

   在MySQL的ROW复制模式下，默认不会记录完整的SQL语句。canal.instance.filter.query.dml控制的是那些偶尔出现的补充SQL信息，而不是主要的行变更数据。

3. 如何只获取INSERT操作？

   可以通过以下组合配置实现：

   canal.instance.filter.dml.insert = false
   canal.instance.filter.dml.update = true
   canal.instance.filter.dml.delete = true
   canal.instance.filter.rows = false
   

最佳实践建议

1. 在大多数ROW模式的应用场景下，canal.instance.filter.rows应该保持为false，否则会丢失核心数据。

2. canal.instance.filter.query.dml可以根据是否需要原始SQL来决定，通常可以设置为true以减少不必要的数据传输。

3. 对于精细化的DML操作过滤，应该使用canal.instance.filter.dml.insert、canal.instance.filter.dml.update和canal.instance.filter.dml.delete这三个参数来控制。

4. 在MySQL 5.7及以上版本中，ROW模式是推荐使用的binlog格式，此时原始SQL语句的获取会受到更多限制，开发者应该主要依赖行变更数据。

通过理解这些配置参数的实际含义和相互关系，开发者可以更精准地控制Canal的数据同步行为，满足各种业务场景的需求。