MyDumper工具在导出多主键表时出现挂起问题的分析与解决

问题现象

在使用MyDumper工具(v0.18.1-1版本)导出MariaDB 10.11.5数据库中约55GB数据时，发现工具会在某些特定表上出现无限挂起现象。具体表现为：

1. 导出进程持续运行但不再有实际进展
2. 日志中不断重复显示相同表的导出进度信息
3. 目标表对应的导出文件大小为0字节
4. 当排除问题表后，相同问题会出现在其他表上

环境背景

• 数据库系统：MariaDB 10.11.5
• 操作系统：Debian 11 (bullseye)
• MyDumper版本：v0.18.1-1
• 数据库规模：约55GB
• 表结构特点：包含多列主键和复杂外键约束

问题分析

经过深入分析，发现问题主要出现在以下三种表结构上：

1. 单主键但多外键约束表

CREATE TABLE `mytable1` (
  `id` BIGINT(20) NOT NULL PRIMARY KEY,
  -- 多列数据字段...
  INDEX `FK_COL_4` (`col4`),
  INDEX `FK_COL_5` (`col5`),
  INDEX `FK_COL_6` (`col6`),
  -- 多外键约束...
) ENGINE=InnoDB;

2. 复合主键表

CREATE TABLE `mytable2` (
  `my_id` BIGINT(20) NOT NULL,
  `my_id2` BIGINT(20) NOT NULL,
  PRIMARY KEY (`my_id`, `my_id2`),
  -- 外键约束...
) ENGINE=InnoDB;

3. 无主键但有多列唯一索引表

CREATE TABLE `mytable3` (
  `my_id` BIGINT(20) NOT NULL,
  `my_id2` INT(11) NOT NULL,
  UNIQUE INDEX `UK_ID` (`my_id`, `my_id2`),
  -- 外键约束...
) ENGINE=InnoDB;

根本原因

MyDumper在处理多列主键或唯一索引表时，默认会尝试对这些表进行分片导出（即将表数据按主键范围拆分为多个部分并行导出）。这种机制在以下情况下可能出现问题：

1. 复合键分片算法缺陷：当表具有复合主键时，现有的分片算法可能无法正确处理键值范围的边界条件，导致导出进程陷入无限循环。

2. 外键约束干扰：当表具有多个外键约束时，MyDumper在确定导出顺序和分片策略时可能产生冲突。

3. 数据一致性要求：在从库上执行导出时，复制状态可能影响分片点的确定。

解决方案

MyDumper开发团队针对此问题提供了以下解决方案：

1. 使用单列导出模式

在v0.18.2-3预发布版本中，新增了--use-single-column选项，强制MyDumper使用单列方式进行分片，避免复合键分片问题。

mydumper --use-single-column [其他参数]

2. 临时解决方案

对于早期版本用户，可以采取以下临时措施：

1. 排除问题表：使用--regex或-T参数排除已知的问题表，单独处理这些表。

2. 降低并发度：减少-t参数指定的线程数，有时可以缓解问题。

3. 使用mysqldump替代：对问题表使用传统的mysqldump工具单独导出。

最佳实践建议

1. 版本选择：建议使用v0.18.2及以上版本，该版本对复合键处理进行了优化。

2. 导出策略：对于大型数据库，建议分批次导出不同类型的对象：

   • 先导出表结构
   • 然后导出无外键约束的表
   • 最后导出有外键约束的表

3. 监控机制：在长时间运行的导出任务中，建议实施监控：

   • 定期检查导出文件大小变化
   • 监控日志输出模式
   • 设置超时机制

4. 测试验证：对于生产环境，建议先在测试环境进行小规模验证。

总结

MyDumper作为一款高性能的MySQL/MariaDB逻辑备份工具，在处理复杂表结构时可能会遇到特定问题。本文分析的复合主键表导出挂起问题，通过使用新版MyDumper的--use-single-column选项可以得到有效解决。数据库管理员在实施备份策略时，应当充分了解工具特性和限制，针对不同的表结构采用适当的导出参数，确保备份任务的顺利完成。