MyBatis-Flex 批量插入性能优化实践

背景介绍

在使用MyBatis-Flex框架进行Doris数据库批量插入操作时，开发者发现不同的批量插入方式存在显著的性能差异。通过深入分析和实践，我们找到了性能瓶颈的根源并实现了优化。

性能问题现象

开发者在使用MyBatis-Flex 1.10.2与Doris 3.0.3进行批量数据插入时，观察到以下现象：

1. 使用mapper.insertBatch方法，每次插入1000条记录（约63个字段），稳定后耗时约12秒
2. 使用Db.executeBatch方法，插入相同数据量耗时显著增加，远超12秒

问题分析

通过数据验证发现：

• mapper.insertBatch方式能正常实现批量插入，数据量按1000条递增
• Db.executeBatch方式实际插入效率低下，数据量仅以个位数递增

这表明Db.executeBatch在Doris环境下未能实现真正的批量插入功能。

解决方案

查阅Doris官方文档发现，Doris数据库需要开启Prepared Statement功能才能实现高效的批量插入。这是因为：

1. Doris默认情况下可能不会自动优化批量SQL执行
2. 开启Prepared Statement后，数据库可以预编译SQL语句，减少重复解析开销
3. 批量操作可以合并网络请求，降低通信成本

优化效果

在正确配置Doris的Prepared Statement后：

• Db.executeBatch的插入性能显著提升
• 执行速度反超mapper.insertBatch方法
• 实现了真正的批量插入效果

最佳实践建议

1. 在使用MyBatis-Flex与Doris配合时，务必确认Prepared Statement已开启
2. 对于批量操作，优先测试Db.executeBatch方法
3. 监控实际插入数据量，确保批量操作真正生效
4. 根据业务场景选择合适的批量大小（如1000条/批）

总结

数据库批量操作性能受多方面因素影响，框架、驱动和数据库配置都需要协调配合。通过这次实践，我们认识到：

1. 框架层面的批量API不一定直接对应数据库的批量操作
2. 数据库特定配置可能显著影响ORM框架性能表现
3. 性能优化需要结合具体数据库特性进行针对性调整

这种问题排查思路也适用于其他ORM框架与数据库的配合使用场景。