Flink CDC 中获取 MySQL 变更记录操作类型的正确方法

在使用 Apache Flink CDC 连接器捕获 MySQL 数据库变更时，开发者经常需要获取变更操作类型（如 INSERT、UPDATE、DELETE）。然而，在实际应用中，很多开发者会遇到无法正确获取 row_kind 元数据字段的问题。

问题现象

当开发者尝试通过 METADATA FROM 'row_kind' 方式获取操作类型时，系统会报错提示"Invalid metadata key 'row_kind'"。错误信息表明当前使用的 MySQL CDC 连接器不支持该元数据字段。

原因分析

出现这个问题的主要原因是使用了不兼容的连接器版本。在 Flink CDC 生态中，存在两种类型的连接器：

1. flink-connector-mysql-cdc：基础连接器，功能较为基础
2. flink-sql-connector-mysql-cdc：完整功能连接器，支持更多特性

基础连接器版本（如 3.0.1）仅支持以下元数据字段：

• table_name
• database_name
• op_ts

而完整功能连接器（3.0.1 及以上版本）才支持获取 row_kind 字段，该字段表示数据变更的操作类型。

解决方案

要正确获取 MySQL 变更记录的操作类型，开发者应该：

1. 确保使用 flink-sql-connector-mysql-cdc 而非 flink-connector-mysql-cdc
2. 使用 3.0.1 或更高版本（推荐 3.1.1）
3. 在表定义中正确声明元数据字段

示例表定义：

CREATE TABLE test_table (
    operation STRING METADATA FROM 'row_kind' VIRTUAL,
    -- 其他字段
) WITH (
    'connector' = 'mysql-cdc',
    -- 其他配置
);

版本选择建议

对于生产环境，建议选择稳定版本：

• 如需完整功能，使用 flink-sql-connector-mysql-cdc-3.1.1
• 如受限于环境，至少使用 flink-sql-connector-mysql-cdc-3.0.1

总结

获取 MySQL 变更操作类型是数据同步和ETL过程中的常见需求。开发者需要注意连接器类型和版本的选择，确保使用支持 row_kind 元数据的完整功能连接器。正确的版本选择和配置可以避免元数据获取失败的问题，保证数据变更捕获的完整性。