Azure-Sentinel日志分析Logstash输出插件代理配置问题解析

背景介绍

在使用Azure-Sentinel的日志分析Logstash输出插件(microsoft-sentinel-log-analytics-logstash-output-plugin)时，许多用户会遇到代理配置相关的问题。特别是在1.1.3版本中，当配置代理选项后，插件无法正常连接到Microsoft的认证服务端login.microsoftonline.com。

问题现象

当用户配置了代理选项后，插件会输出如下错误日志：

Error while authenticating with AAD ('https://login.microsoftonline.com'), retrying in 10 seconds.

通过抓包分析发现，插件发送给代理的CONNECT请求中缺少了端口信息。正常的代理请求应该包含目标端口(如443)，但实际发出的请求中却遗漏了这一关键信息。

根本原因

这个问题源于插件依赖的Excon库版本更新带来的兼容性问题。在较新版本的Excon中，默认行为发生了变化，不再包含默认端口信息。具体来说：

1. 插件最初开发时基于Excon 0.8+版本
2. 后续Excon更新了omit_default_port选项的默认行为
3. 这一变更导致通过代理的连接请求中不再自动添加默认端口

解决方案

针对这个问题，有两种可行的解决方案：

临时解决方案

可以手动修改插件代码，在发送请求时显式指定包含默认端口：

response = Excon.post(@token_request_uri, 
  :include_default_port => true, 
  :body => @token_request_body, 
  :headers => headers, 
  :proxy => @logstashLoganalyticsConfiguration.proxy_aad, 
  expects: [200, 201])

长期解决方案

更规范的解决方式是更新插件的依赖配置，明确指定兼容的Excon版本范围。这可以确保插件在不同环境下都能保持一致的代理行为。

最佳实践建议

1. 版本控制：在使用插件时，应该明确记录所使用的插件版本和依赖库版本
2. 代理测试：在部署到生产环境前，应该充分测试代理配置
3. 日志监控：建议配置对认证错误的监控，及时发现连接问题
4. 依赖管理：定期检查并更新插件的依赖关系，避免潜在的兼容性问题

总结

Azure-Sentinel的Logstash输出插件在代理环境下工作时，可能会因为底层HTTP库的版本差异导致连接问题。理解这一问题的根源有助于开发者和运维人员更好地配置和维护他们的日志收集管道。通过适当的版本控制或代码调整，可以确保插件在各种网络环境下都能可靠工作。