MyDumper大表导出问题分析与解决方案

问题现象

在使用MyDumper进行MySQL数据库备份时，当处理大型数据库（约200GB）时，程序会陷入异常循环，产生大量空文件（0字节）。日志显示程序不断尝试从同一个表fs_group_refference导出数据范围，但每个文件都未能成功写入数据。相比之下，旧版本0.10能够正常处理该表，仅生成3个文件（4MB、4MB和30KB）。

环境信息

• 操作系统：CentOS 8
• MyDumper版本：0.18.1和0.19.1均出现此问题
• 命令参数：包含--rows=500000等配置

问题根源分析

经过排查，发现问题出在--rows=500000参数的使用上。该参数本意是控制每个导出文件包含的行数，但在处理某些特殊表结构时可能导致以下问题：

1. 分片逻辑异常：程序错误计算了表的分片范围，导致生成大量无效的导出范围
2. 空文件循环：每个分片查询返回空结果，但程序仍持续尝试导出下一个分片
3. 资源浪费：产生大量0字节文件，占用存储空间和系统资源

解决方案

方案一：移除行数限制参数

最简单的解决方案是移除--rows=500000参数，让MyDumper使用默认的导出方式：

mydumper -B db --triggers --events --routines --verbose 4 --compress=ZSTD --user bkpuser --long-query-retry-interval 120 --long-query-guard 300 --kill-long-queries --long-query-retries 5 --host ${HOST} --trx-tables --threads 8 --sync-thread-lock-mode=GTID --ignore-engines FEDERATED --omit-from-file /opt/dumper/omit-tables.txt --outputdir /storage/backups/dmp --password "${PASSWORD}"

方案二：使用文件大小限制替代行数限制

如果需要控制导出文件大小，可以使用-F参数指定文件大小上限（单位MB）：

mydumper ... -F 256 ...  # 限制每个文件不超过256MB

方案三：针对特定表单独处理

对于已知的问题表，可以通过配置文件单独指定导出方式：

1. 创建表配置文件
2. 为问题表设置不同的导出参数或排除该表
3. 使用--tables-list或--regex参数选择性导出

最佳实践建议

1. 版本选择：生产环境升级前应在测试环境充分验证
2. 参数测试：新版本中每个参数都应单独测试效果
3. 监控机制：备份过程中应监控文件生成情况，设置超时机制
4. 日志分析：定期检查备份日志，及时发现异常模式
5. 容量规划：确保备份目录有足够空间处理临时文件

总结

MyDumper作为MySQL逻辑备份工具，在不同版本间可能存在行为差异。遇到类似导出问题时，建议首先简化参数配置，逐步排查问题根源。对于大型数据库备份，合理配置分片参数和文件大小限制是关键，同时应建立完善的备份验证机制确保数据完整性。