Dinky项目中MySQL CDC整库同步问题的分析与解决

问题背景

在使用Dinky 1.1.0版本进行MySQL到MySQL的整库同步时，发现同步任务失败。具体表现为生成的FlinkSQL语句中JDBC连接URL格式不正确，导致无法建立目标数据库连接。

问题现象

用户配置了MySQL CDC到MySQL的整库同步任务，但在执行过程中生成的FlinkSQL语句中，JDBC连接URL的格式存在问题。原本期望的URL格式应该是：

jdbc:mysql://127.0.0.1:3306/test1?allowPublicKeyRetrieval=true&characterEncoding=utf-8&useSSL=false

但实际生成的却是：

jdbc:mysql://127.0.0.1:3306?allowPublicKeyRetrieval=true&characterEncoding=utf-8&useSSL=false/test1

可以看到数据库名称test1被错误地拼接在了URL参数之后，而不是在主机和端口号之后。

技术分析

这个问题涉及到Dinky中CDCSOURCE功能的实现机制：

1. CDCSOURCE语法解析：Dinky会将用户配置的CDCSOURCE语句转换为实际的FlinkSQL执行语句
2. JDBC连接URL生成：在生成目标表的DDL语句时，需要正确构造JDBC连接URL
3. 参数拼接逻辑：当前版本中数据库名称的拼接位置存在逻辑错误

解决方案

针对这个问题，可以从以下几个层面考虑解决方案：

1. 临时解决方案：

   • 手动修改生成的FlinkSQL语句，将数据库名称调整到正确位置
   • 在sink.url参数中直接包含数据库名称，避免使用sink.sink.db参数

2. 代码修复方案：

   • 修改Dinky源码中URL生成的逻辑
   • 确保数据库名称被正确插入到主机端口号和参数之间
   • 正确处理URL中已包含数据库名称的情况

3. 配置优化建议：

   • 检查sink.url和sink.sink.db参数的优先级
   • 增加URL格式的校验逻辑
   • 提供更清晰的错误提示信息

最佳实践建议

在进行MySQL整库同步时，建议采用以下配置方式：

1. 直接在sink.url中包含目标数据库名称：

'sink.url' = 'jdbc:mysql://127.0.0.1:3306/test1?allowPublicKeyRetrieval=true&characterEncoding=utf-8&useSSL=false'

2. 如果必须使用sink.sink.db参数，确保Dinky版本已修复此问题

3. 测试环境先验证单表同步，再扩展到整库同步

总结

这个问题的本质是URL生成逻辑中的字符串拼接错误。对于数据集成工具来说，正确处理各种连接字符串格式是基础但关键的功能。开发者在实现类似功能时，应当特别注意：

1. 不同数据库连接字符串的格式规范
2. 参数拼接的顺序和位置
3. 特殊字符的转义处理
4. 提供清晰的错误提示

通过这个案例，我们也看到开源社区的力量——用户发现问题后积极反馈，维护者及时响应并修复，共同推动项目质量的提升。