MyDumper数据库恢复过程中主键冲突问题分析与解决方案

问题现象

在使用MyDumper工具进行MySQL数据库恢复时，用户在执行myloader命令时遇到了主键冲突错误。具体表现为在恢复过程中出现"Duplicate entry 'COR.1.AuditLog.14154823' for key 'AuditLog.PRIMARY'"的错误提示，导致恢复过程中断并产生核心转储。

环境信息

• 操作系统：Red Hat Enterprise Linux 8.9
• MyDumper版本：v0.16.1-3（最初报告版本），后升级至v0.16.5-1
• MySQL版本：8.0.31商业版
• 执行命令：myloader --threads=20 --host=localhost --user=root --password=****** --database=mysqldb --directory=/root/db_backup --overwrite-tables

错误分析

1. 主键冲突本质：错误信息表明在恢复数据时，系统尝试插入已存在于目标表中的记录，违反了主键唯一性约束。

2. 可能原因：

   • 备份时使用了不完整的条件，导致部分数据被重复备份
   • 目标数据库中已存在部分数据
   • 并行恢复过程中线程间的协调问题

3. 警告信息：日志中显示"zstd command not found"警告，表明系统缺少zstd压缩工具，但这并非导致主键冲突的直接原因。

解决方案

方案一：使用--insert-ignore参数（推荐）

在备份阶段（mydumper命令）而非恢复阶段添加--insert-ignore参数：

mydumper --insert-ignore [其他参数]

此参数会使生成的INSERT语句变为INSERT IGNORE形式，在恢复时遇到主键冲突会自动跳过而不会报错。

方案二：使用--replace参数

在备份时添加--replace参数：

mydumper --replace [其他参数]

此参数会生成REPLACE INTO语句而非INSERT，遇到主键冲突时会先删除旧记录再插入新记录。

方案三：清理目标数据库

在执行恢复前彻底清空目标数据库：

DROP DATABASE IF EXISTS mysqldb;
CREATE DATABASE mysqldb;

方案四：调整恢复策略

1. 降低并行线程数（--threads参数）
2. 确保备份和恢复使用相同版本的MyDumper
3. 检查备份文件完整性

最佳实践建议

1. 版本一致性：确保备份和恢复使用相同版本的MyDumper和MySQL。

2. 环境准备：安装zstd等依赖工具以避免潜在问题。

3. 备份策略：

   • 对于关键表，考虑使用--where参数限定备份范围
   • 大表建议单独处理

4. 恢复验证：

   • 先在测试环境验证备份文件
   • 恢复后检查数据完整性和一致性

5. 监控与日志：恢复过程中保持监控，保存完整日志以便问题排查。

通过以上方法和建议，可以有效避免MyDumper在数据库恢复过程中遇到的主键冲突问题，确保数据恢复的顺利进行。