解决myhhub/stock项目中MySQL主键冲突问题的技术分析

问题背景

在myhhub/stock项目运行过程中，后台频繁出现数据库插入异常，主要报错信息为"Duplicate entry for key 'cn_stock_selection.PRIMARY'"，这表明系统在尝试向cn_stock_selection表插入数据时遇到了主键冲突问题。这类问题在金融数据存储系统中较为常见，需要从数据库设计和系统架构层面进行深入分析。

问题本质分析

主键冲突错误(MySQL错误代码1062)表明系统试图插入一条与现有记录具有相同主键值的数据。在cn_stock_selection表中，主键由日期字段和股票代码('2025-03-11-300895')组成，这意味着：

1. 系统设计上不允许同一天同一只股票存在多条选股记录
2. 实际运行中出现了对同一股票同日数据的重复插入尝试

解决方案探索

方案一：数据库替换

项目维护者尝试将MySQL 8替换为MariaDB后问题得到解决。这可能是因为：

1. MariaDB在某些版本中对事务处理有更好的优化
2. 不同数据库引擎对并发控制的实现差异
3. 特定版本中死锁处理机制的不同

方案二：数据插入策略优化

从根本上解决此类问题，可以考虑以下技术方案：

1. 使用INSERT IGNORE语句：自动忽略重复键错误
2. 采用REPLACE INTO语法：替换已有记录
3. 实现ON DUPLICATE KEY UPDATE：遇到重复时更新记录而非报错
4. 应用层去重检查：在插入前先查询是否存在

方案三：并发控制改进

对于金融数据系统，特别需要注意：

1. 实现任务队列机制，避免并发写入
2. 增加分布式锁控制关键操作
3. 优化数据采集任务的调度策略

关联问题分析

在排查过程中还发现了两个相关问题：

1. cn_stock_spot数据不全：可能与数据采集任务失败或网络问题有关
2. Excel插件授权冲突：Docker环境中多个应用实例共享资源导致的授权问题

最佳实践建议

对于金融数据系统的开发，建议：

1. 数据库选型：优先考虑MariaDB或经过验证的MySQL特定版本
2. 错误处理：实现完善的错误重试和日志记录机制
3. 数据完整性检查：定期验证数据完整性，建立自动修复流程
4. 资源隔离：关键服务应部署在独立环境中避免冲突

总结

主键冲突问题看似简单，但在实际生产环境中可能涉及数据库选型、并发控制、系统架构等多个层面。通过这次问题排查，我们不仅解决了当前异常，也为类似金融数据系统的设计和运维积累了宝贵经验。建议开发团队建立长期的数据质量监控机制，确保系统的稳定运行。