MyDumper 导出进度显示优化探讨

背景

MyDumper 作为一款高性能的 MySQL 逻辑备份工具，其多线程设计能够显著提升数据导出效率。然而在实际使用过程中，用户经常会遇到一个困惑：当部分线程完成工作后，剩余线程处理大表时的进度显示不够直观，导致用户误以为程序已冻结。

当前进度显示机制分析

当前 MyDumper 的输出日志中，当所有事务表(InnoDB)都已被分配给工作线程后，会显示"InnoDB tables completed"消息。但这并不表示所有导出工作已完成，只是表示所有表都已被分配线程处理。

对于每个工作线程，MyDumper 会每5秒输出一次进度信息，包括：

• 正在处理的表名
• 导出文件路径
• 完成百分比
• 剩余待处理表数量

存在的问题

1. 消息表述不准确："InnoDB tables completed"容易让用户误解为所有InnoDB表导出已完成，而实际上只是分配完成

2. 整体进度不直观：当部分线程完成工作后，剩余线程处理大表时缺乏全局进度概览，用户需要滚动日志才能了解整体状态

3. 线程状态不透明：线程关闭(shutting down)信息与工作线程状态混合显示，不够清晰

改进建议

1. 优化消息文本：将"InnoDB tables completed"改为更准确的表述，如"All InnoDB tables assigned to threads"

2. 增强全局状态显示：

   • 定期汇总显示所有工作线程的状态
   • 增加全局进度百分比估算
   • 区分表分配完成和导出完成的不同状态

3. 改进线程状态报告：

   • 当线程完成时，输出剩余工作线程的摘要信息
   • 对长时间运行的表导出增加更频繁的进度更新

实际应用示例

通过设置--max-threads-per-table 1 -r -1参数强制单线程全表扫描时，我们可以看到当前的进度显示模式：

Thread 1: dumping data from `test_db`.`large_table` | Completed: 66% | Remaining tables: 0 / 1

这种显示方式对于单个大表导出是有效的，但当多个线程并行处理不同大小的表时，整体进度仍然不够清晰。

总结

MyDumper 的进度显示机制在基础功能上已经实现，但在用户体验方面还有优化空间。通过改进消息表述、增加全局状态汇总和优化线程状态报告，可以显著提升工具的可观测性，帮助用户更好地理解导出进度和系统状态。

对于需要长时间运行的大型数据库导出任务，清晰的进度反馈不仅能提升用户体验，也能帮助管理员更准确地预估完成时间和排查潜在问题。