Elastic Cloud on Kubernetes 中 Logstash 默认管道请求失败问题分析

问题背景

在 Elastic Cloud on Kubernetes (ECK) 2.4.0 版本测试过程中，发现多个与 Logstash 相关的端到端测试用例在 8.15.0 和 8.16.0 快照版本上出现失败。这些测试主要验证 Logstash 对默认管道请求的响应能力，但测试过程中收到了 404 状态码的错误响应。

错误现象

测试失败时，系统日志中持续出现以下错误信息：

Failed to execute action {:action=>LogStash::PipelineAction::Create/pipeline_id:main, 
:exception=>"LogStash::ConfigurationError", 
:message=>"Expected one of [A-Za-z0-9_-], [ \\t\\r\\n], \"#\", \"{\", [A-Za-z0-9_], \",\", \"]\" at line 5, column 18 (byte 100) after output { \n  elasticsearch {\n\thosts => [ https"

这表明 Logstash 在尝试创建主管道时遇到了配置解析错误，特别是在处理 elasticsearch 输出插件的 hosts 配置部分。

根本原因

经过深入分析，发现该问题是由于在 Logstash 8.15.0 和 8.15.1 版本之间引入的环境变量替换功能变更导致的。具体来说：

1. 相关变更最初被错误地标记为属于 8.15.0 版本
2. 实际上这些变更是在 8.15.0 最终构建完成后才被合并到 8.15 分支的
3. 这导致了快照版本中的行为与正式发布版本不一致

解决方案

Elastic 团队已经识别并修复了这个问题。修复方案主要涉及：

1. 修正环境变量替换逻辑，确保正确处理配置中的特殊字符
2. 确保管道配置能够正确解析包含 HTTPS 连接的 elasticsearch 输出配置

影响范围

该问题主要影响：

• 使用 8.15.0 和 8.16.0 快照版本的 Logstash 部署
• 依赖于默认管道配置的 ECK 测试用例
• 使用环境变量进行配置的场景

最佳实践建议

为避免类似问题，建议：

1. 在生产环境中谨慎使用快照版本
2. 在升级前充分测试管道配置
3. 对于关键业务系统，考虑等待正式补丁发布后再进行升级
4. 定期检查 Logstash 日志中的管道创建错误

总结

这次事件展示了在复杂系统中，即使是看似微小的配置解析变更也可能导致关键功能失效。Elastic 团队通过快速响应和修复，确保了 Logstash 在 Kubernetes 环境中的稳定性。对于使用 ECK 管理 Logstash 的用户，建议关注官方发布说明，及时应用相关修复。