ByConity 中大量 INSERT INTO SELECT 性能问题分析与优化实践

问题背景

在 ByConity 0.4.2 版本的生产环境中，用户遇到了大规模数据写入性能问题。当执行大量 INSERT INTO SELECT 操作时，系统表现出明显的性能瓶颈，相比 ClickHouse 慢了 4-5 倍，同时伴随着 FDB (FoundationDB) 事务超时错误。

核心问题表现

1. 性能差距：相同数据量的 INSERT INTO SELECT 操作，ByConity 比 ClickHouse 慢 4-5 倍
2. 错误日志：频繁出现 "FDB error: Operation aborted because the transaction timed out"
3. 资源监控：FDB 组件(Log/Storage/Stateless)的资源使用率较低(CPU 0.04C，内存使用不足50%)

深入分析

FDB 事务超时问题

FDB (FoundationDB) 作为 ByConity 的元数据存储后端，其事务处理能力直接影响系统整体性能。事务超时通常表明：

1. 并发压力：高并发写入导致 FDB 无法及时处理所有事务
2. 资源配置不足：FDB 节点的 CPU/内存资源不足以应对当前负载
3. 网络延迟：节点间通信延迟导致事务处理超时

性能瓶颈定位

通过分析执行计划(Explain Analyze)，发现主要耗时集中在：

1. 数据写入阶段：TableWrite 操作耗时显著
2. 网络传输：Local Exchange 和 Gather Exchange 阶段存在明显等待时间
3. JSON 处理：大量 JSONExtract 操作增加了 CPU 开销

资源配置考量

用户环境配置特点：

• FDB 集群：3个 Log 节点 + 3个 Storage 节点 + 3个 Stateless 节点
• 资源限制：CPU 0.1C(最大1C)，内存 200MB(最大1GB)
• 存储：阿里云 PL0 级别云盘(10-20GB)

尽管监控显示资源使用率不高，但瞬时高峰负载仍可能导致资源争用。

优化方案与实践

参数调优

1. 调整任务并发控制：

   • 将 max_ratio_of_cnch_tasks_to_threads 从默认1.5调整为2.0
   • 有效解决了 FDB 事务超时问题

2. FDB 资源配置优化：

   • 适当增加 CPU 和内存配额
   • 考虑使用更高性能的存储类型

查询优化建议

1. 减少 JSON 处理开销：

   • 预先处理 JSON 字段，避免在查询时频繁解析
   • 考虑将常用 JSON 字段提取为独立列

2. 分区策略优化：

   • 确保数据均匀分布，避免热点
   • 合理设置分区粒度

架构层面建议

1. FDB 监控完善：

   • 部署完整的 FDB 监控体系
   • 重点关注事务延迟、冲突率等关键指标

2. 资源隔离：

   • 对重要业务线配置独立的资源组
   • 避免资源争用影响关键业务

经验总结

通过本次问题排查，我们获得了以下重要经验：

1. FDB 资源配置不能仅看平均使用率：瞬时高峰负载可能导致事务超时
2. 参数调优效果显著：适当调整并发控制参数可解决大部分事务超时问题
3. 监控体系至关重要：完善的监控能帮助快速定位性能瓶颈
4. JSON 处理是常见性能热点：需要特别关注复杂 JSON 操作的性能影响

对于大规模数据写入场景，建议在生产部署前进行充分的性能测试，根据实际负载调整资源配置和参数设置，以达到最佳性能表现。