Docker-ELK 项目中 Logstash 标准输入配置问题解析与解决方案

问题背景

在使用 Docker-ELK 项目时，用户尝试修改 Logstash 配置以接收标准输入(stdin)并输出到 Elasticsearch 和标准输出(stdout)。初始配置会导致 Logstash 启动后立即退出，返回代码 0。这实际上是 Logstash 在未接收到任何输入时的正常行为，但在 Docker 环境中需要特殊处理。

技术分析

Logstash 标准输入行为

Logstash 的标准输入插件(stdin)在没有输入时会保持等待状态。但在 Docker 环境中，默认情况下 docker compose up 命令不会将终端输入重定向到容器的标准输入。这导致 Logstash 无法接收到任何输入，最终正常退出。

Docker 交互模式要求

要让 Logstash 能够接收终端输入，必须确保：

1. 容器以交互模式运行
2. 终端输入被正确重定向到容器

解决方案

1. Docker Compose 配置修改

需要在 docker-compose.yml 文件中为 Logstash 服务添加以下配置：

services:
  logstash:
    tty: true
    stdin_open: true

这两个参数的作用：

• tty: true：为容器分配一个伪终端
• stdin_open: true：保持标准输入打开，允许交互

2. 正确连接容器

使用 docker compose up 启动服务后，需要单独附加到 Logstash 容器的标准输入：

docker compose attach logstash

这样才能将终端输入传递给 Logstash 的标准输入插件。

3. Elasticsearch 权限配置

如果使用自定义索引名称(如"test")，需要确保 Logstash 使用的角色(logstash_writer)有操作该索引的权限。在 setup/roles/logstash_writer.json 中添加：

{
  "indices": [
    {
      "names": ["test-*"],
      "privileges": ["create_index", "create", "index", "delete", "read"]
    },
    {
      "names": ["test"],
      "privileges": ["create_index", "create", "index", "delete", "read"]
    }
  ]
}

修改后需要重新运行 docker compose up setup 应用角色变更。

最佳实践建议

1. 磁盘空间监控：Elasticsearch 默认会在磁盘使用超过85%时停止分配副本分片。虽然不影响主分片创建，但仍建议监控磁盘使用情况。

2. 日志调试：在开发阶段，可以同时配置 stdout 输出和 Elasticsearch 输出，便于调试：

output {
  stdout { codec => rubydebug }
  elasticsearch {
    hosts => "elasticsearch:9200"
    user => "logstash_internal"
    index => "test"
    password => "${LOGSTASH_INTERNAL_PASSWORD}"
  }
}

3. 初始化顺序：确保先运行 docker compose up setup 初始化用户和角色，再运行 docker compose up 启动服务。

总结

在 Docker-ELK 项目中使用 Logstash 的标准输入功能需要注意 Docker 的交互模式配置和 Elasticsearch 的权限设置。通过正确配置 tty 和 stdin_open 参数，并使用 docker compose attach 命令连接容器，可以解决标准输入不工作的问题。同时，对于自定义索引，需要确保相应的角色权限已正确配置。