Dinky项目MySQL全库同步数据问题解析与解决方案

问题背景

在使用Dinky进行MySQL全库同步时，用户反馈仅同步了表结构而数据未被同步。经过分析，这并非系统缺陷，而是配置问题导致的常见现象。

核心问题分析

1. 同步机制差异：Dinky的MySQL全库同步包含表结构同步和数据同步两个独立阶段
2. 关键配置缺失：未启用checkpoint机制导致数据同步中断
3. 版本兼容性：不同版本的Flink CDC连接器对同步行为有不同要求

解决方案详解

1. 版本升级与配置调整

• 必须升级到最新版Dinky
• 在任务配置中显式启用checkpoint功能
• 确保Flink集群和Dinky使用兼容的CDC连接器版本

2. 连接器部署规范

• Flink CDC连接器需要同时部署在：
  • Flink/lib目录
  • Dinky/extends目录
• 典型连接器包括：
  • flink-cdc-pipeline-connector-mysql
  • flink-connector-jdbc

3. 表前缀配置技巧

• sink.table.prefix参数为可选配置
• 可通过该参数实现：
  • 跨数据库表名映射
  • 多环境数据隔离
  • 历史数据版本管理

高级配置建议

CDC模式确认

Dinky的MySQL全库同步基于MySQL binlog机制实现CDC(变更数据捕获)，这种设计具有：

• 低延迟特性
• 最小化源数据库负载
• 精确的数据变更追踪能力

生产环境注意事项

1. 持久化配置：Docker部署时需配置外部数据库(如MySQL)替代默认H2
2. 监控机制：建议配置同步任务监控告警
3. 性能调优：大数据量同步时需要调整：
   • 并行度
   • 批处理大小
   • 网络超时参数

典型问题排查流程

1. 验证连接器部署完整性
2. 检查checkpoint配置状态
3. 查看任务日志中的WARN/ERROR信息
4. 确认源库binlog配置正确
5. 测试小规模数据同步验证基础功能

通过以上系统化的配置和验证流程，可以确保MySQL全库同步的完整性和可靠性。对于特定业务场景，建议先在测试环境验证同步策略，再部署到生产环境。