HertzBeat监控配置批量导入性能优化实践

问题背景

在HertzBeat监控系统中，用户反馈在导入500条监控配置时耗时长达8分钟，且导入过程中无法看到数据实时更新的情况，导致用户体验较差。经过分析发现，这是由于系统在MonitorServiceImpl类中使用了类级别的@Transactional注解，导致所有配置导入被包裹在一个大事务中执行。

技术分析

事务处理机制分析

当前实现中，监控配置的导入操作被设计为一个原子性事务。这种设计存在两个主要问题：

1. 长事务问题：当导入大量配置时，数据库事务会持续很长时间，可能导致锁等待和连接池耗尽
2. 用户体验问题：用户无法感知导入进度，容易误认为系统卡死

检测机制分析

系统在导入每个监控配置前会执行detectMonitor操作，用于获取监控的实时可用状态。这一设计虽然保证了数据展示的准确性，但也带来了额外的性能开销。

解决方案设计

后端实现方案

采用SSE(Server-Sent Events)技术实现进度实时推送：

public void importConfig(String fileName, InputStream is) {
    //...
    try {
        for (int i = 0; i < totalSize; i++) {
            monitorService.validate(formList.get(i), false);
            monitorService.addMonitor(formList.get(i).getMonitor(), formList.get(i).getParams(),
                    formList.get(i).getCollector(), monitorDto.getGrafanaDashboard());
            // 计算当前进度
            int currentPercent = (i + 1) * 100 / totalSize;
            int completed = i + 1; // 已完成项数
            // 在定义的进度阈值或最后一项时发布事件
            if (currentPercent >= nextPercent || i == totalSize - 1) {
                emitter.send(SseEmitter.event()
                            .id(String.valueOf(System.currentTimeMillis()))
                            .name("IMPORT_TASK_EVENT")
                            .data(new ImportTaskProcess(fileName, currentPercent, totalSize, completed)));
                nextPercent += progressStep;
            }
        }
        //...发送成功通知
    } catch (Exception e) {
          //...发送失败通知
        ));
    }
}

前端实现方案

在前端添加专门的导入任务响应处理模块，在页面右上角显示进度条通知。通知设计要点：

1. 实时显示导入进度百分比
2. 显示已完成/总数量
3. 支持最小化/最大化操作
4. 任务完成后自动消失或提供手动关闭选项

技术权衡

在方案设计过程中，团队考虑了多种技术选择：

1. 事务粒度选择：保持大事务保证数据完整性 vs 拆分事务提升用户体验
2. 进度通知方式：独立任务中心 vs 页面内通知
3. 检测机制：同步检测保证数据准确性 vs 异步检测提升性能

最终选择了在保持同步检测的前提下，通过SSE实现实时进度通知的折中方案，既保证了数据准确性，又改善了用户体验。

实现效果

优化后的系统将具有以下改进：

1. 用户可实时查看导入进度，消除等待焦虑
2. 系统资源使用更加合理，避免长事务问题
3. 保持数据准确性，监控状态实时更新
4. 通知机制灵活，不影响用户其他操作

总结

通过对HertzBeat监控配置导入功能的优化，我们解决了大规模配置导入时的性能瓶颈和用户体验问题。这一案例展示了在保证系统功能完整性的同时，如何通过合理的技术选型和架构设计来提升用户体验。该方案不仅适用于监控配置导入场景，也可为其他批量操作功能的设计提供参考。