MyDumper数据导出工具中复合主键表重复导出问题分析

问题概述

在使用MyDumper数据导出工具时，用户发现当导出具有复合主键的表时，会出现数据被重复导出的现象。具体表现为：在0.19.1-1版本中工作正常的导出操作，在升级到0.19.3-1版本后，同一张表的数据会被多次导出，导致最终导出的数据量远超实际数据量。

问题表现细节

用户报告了两个具体表的问题情况：

1. channel_rate_room_price_extra_child表：该表具有复合主键(rateRoom, start, end, position)，包含约765,000条记录。在0.19.3-1版本中，不使用--rows参数时，导出过程显示进度百分比异常增长（如55034%），实际导出的数据量远超表实际数据量。

2. trip_price_calendar表：该表具有BIGINT自增主键，包含约77M条记录。当使用--rows参数时，会生成大量小文件（25,662个），而预期应该生成更少的大文件。

技术分析

复合主键表的处理机制

MyDumper在处理复合主键表时，需要正确识别主键列并基于这些列进行数据分片。在0.19.3版本中，当表包含DATE类型的复合主键列时，工具未能正确识别主键边界，导致分片逻辑失效，同一数据范围被多次处理。

大表分片策略

对于具有广泛分布主键的大表（如trip_price_calendar），MyDumper提供了--rows参数来优化导出性能。但参数设置不当会导致：

1. 固定分片大小(--rows 2000000)可能不适合数据分布不均匀的表
2. 动态分片策略能更好地适应数据分布特点

解决方案

针对复合主键表重复导出问题

开发团队已确认问题并修复，建议用户：

1. 升级到包含修复的版本（如0.19.4-2）
2. 对于DATE类型主键列的表，确保使用最新版本

针对大表导出优化

对于具有广泛分布主键的大表，推荐使用更精细的分片配置：

1. 在配置文件中为特定表设置分片参数：

[`travelc`.`trip_price_calendar`]
rows = 200000:1000000:0

2. 参数说明：
   • 200000：最小分片大小
   • 1000000：初始分片大小
   • 0：自动调整最大分片大小

最佳实践建议

1. 对于复合主键表：

   • 优先使用最新版本MyDumper
   • 如遇问题可临时使用--rows参数限制分片大小

2. 对于大型表：

   • 避免使用单一的--rows参数
   • 通过配置文件为不同表设置合适的分片策略
   • 监控导出过程中的分片效果，调整参数

3. 版本选择：

   • 生产环境建议使用经过充分测试的稳定版本
   • 升级前在测试环境验证关键表的导出行为

总结

MyDumper作为高效的MySQL/MariaDB数据导出工具，在处理特殊表结构时可能出现预期外的行为。通过理解工具的分片机制和合理配置参数，可以确保数据导出的正确性和性能。开发团队持续改进工具对各种表结构的支持，用户应及时关注版本更新以获得最佳体验。