Malcolm项目中Arkime非HTTPS连接的处理优化

背景介绍

Malcolm是一个开源的网络流量分析平台，集成了多种安全工具用于网络数据分析和威胁检测。Arkime作为其中的重要组件，负责全流量捕获和分析功能。在默认配置中，Malcolm强制Arkime使用HTTPS协议进行通信，这虽然提高了安全性，但在某些特定场景下却带来了配置上的限制。

问题分析

当前Malcolm实现中存在一个设计限制：即使全局NGINX_SSL设置为true，Arkime组件仍然被硬编码要求使用SSL。这种设计主要源于SSL与非SSL协议不能混合使用的技术限制。例如，当用户希望：

• 对外服务(hedgehog)启用SSL
• 内部Malcolm实例的Arkime组件不使用SSL

这种配置组合在当前版本中无法实现。此外，某些用户可能希望通过其他方式实现TLS终止，而不需要在Arkime层面强制SSL。

影响范围

这一限制影响了Malcolm平台的多个关键功能组件：

1. 容器健康检查机制
2. Kubernetes部署清单
3. API就绪状态检查
4. Hedgehog集成功能

技术解决方案

为解决这一问题，开发团队对Malcolm进行了以下关键改进：

1. 配置灵活性增强：解耦Arkime的SSL配置与全局NGINX设置，允许独立配置

2. 健康检查优化：调整容器健康检查逻辑，使其能够正确处理非HTTPS的Arkime连接

3. Kubernetes适配：更新Kubernetes部署描述文件，支持Arkime的非SSL部署选项

4. API检查改进：修改API就绪检查机制，兼容HTTP和HTTPS两种协议

5. Hedgehog集成：确保Hedgehog组件能够正确处理后端Arkime的非SSL连接

实现细节

在技术实现层面，主要修改包括：

• 移除Arkime连接中的SSL硬编码要求
• 增加环境变量控制Arkime的协议选择
• 重构健康检查脚本，支持协议自适应
• 更新相关文档说明新的配置选项

应用场景

这一改进使得Malcolm在以下场景中更具灵活性：

1. 边缘安全部署：在边缘设备部署时，可由专门的负载均衡器处理SSL，内部组件使用普通HTTP协议

2. 性能优化：在可信内部网络中，去除SSL开销可提升Arkime处理性能

3. 混合安全架构：支持分层安全模型，不同组件可采用不同的安全策略

4. 特殊网络环境：适应那些SSL证书管理困难的特殊网络环境

总结

通过对Arkime非HTTPS连接支持的改进，Malcolm项目在保持安全性的同时，提供了更灵活的部署选项。这一变化特别适合那些需要精细控制安全层级或具有特殊网络架构的用户环境。开发团队通过系统性的组件更新，确保了这一改进不会影响平台的整体稳定性和安全性，同时为用户提供了更多配置选择。