Docker 监控、日志和告警开源项目教程

1. 项目介绍

docker_monitoring_logging_alerting 是一个用于 Docker 主机和容器监控、日志记录和告警的开源项目。该项目提供了一个完整的监控和日志记录套件，包括以下组件：

• 监控：使用 cAdvisor 和 node_exporter 进行数据收集，Prometheus 进行数据存储，Grafana 进行可视化展示。
• 日志记录：使用 Filebeat 进行日志收集和转发，Logstash 进行日志聚合和处理，Elasticsearch 作为数据存储后端，Kibana 作为前端展示。
• 告警：使用 elastalert 作为 Elastic 的 Watcher 替代品，用于处理容器或主机日志事件的告警；使用 Prometheus 的 Alertmanager 处理监控指标的告警。

该项目旨在为 Docker 环境提供一个安全、开箱即用的监控、日志记录和告警解决方案。

2. 项目快速启动

2.1 克隆项目

首先，克隆项目到本地：

git clone https://github.com/uschtwill/docker_monitoring_logging_alerting.git
cd docker_monitoring_logging_alerting

2.2 安装前提条件

确保满足所有前提条件（或直接运行脚本）：

./install-prerequisites.sh

2.3 运行设置脚本

根据需要选择安全模式或非安全模式运行设置脚本：

• 安全模式：

sh setup.sh secure YOUR_DOMAIN VERY_STRONG_PASSWORD

• 非安全模式：

sh setup.sh unsecure

2.4 启动容器

运行任何容器时，使用与项目 docker-compose.yml 中定义的相同日志选项，并添加 container_group 标签以启用监控、日志记录和告警。

2.5 访问仪表盘

• 日志探索：http://localhost:5601/app/kibana#/discover
• 日志指标探索：http://localhost:5601/app/kibana#/dashboard/Exploration
• 主要容器和主机指标概览：http://localhost:3000/dashboard/db/main-overview
• 数据探索：http://localhost:3000/dashboard/db/data-exploration
• Prometheus 告警状态：http://localhost:9090/alerts
• Alertmanager 告警管理：http://localhost:9093/#/alerts

3. 应用案例和最佳实践

3.1 应用案例

• 微服务架构监控：在微服务架构中，使用该项目可以监控每个容器的性能和资源使用情况，确保每个服务正常运行。
• 日志集中管理：通过 Filebeat 和 Logstash，可以将所有容器的日志集中到一个地方进行分析和处理，便于故障排查和性能优化。
• 实时告警：使用 elastalert 和 Alertmanager，可以在容器或主机出现异常时立即收到告警，及时采取措施。

3.2 最佳实践

• 标准化日志格式：使用 JSON 或结构化日志格式，便于日志的解析和分析。
• 日志轮转和保留策略：设置日志轮转和保留策略，避免日志存储空间被占满。
• 安全措施：保护日志数据，应用访问控制和加密，防止敏感信息泄露。

4. 典型生态项目

• cAdvisor：用于收集和分析容器资源使用情况。
• Prometheus：开源的监控和告警工具，支持多维数据模型和灵活的查询语言。
• Grafana：用于创建、共享和探索交互式仪表盘，支持多种数据源。
• Elasticsearch：分布式搜索和分析引擎，用于存储和查询日志数据。
• Kibana：用于可视化和分析 Elasticsearch 中的数据。
• Logstash：用于日志的聚合、处理和转发。
• Filebeat：轻量级日志收集器，用于将日志数据发送到 Logstash 或 Elasticsearch。
• elastalert：基于 Elasticsearch 的告警工具，支持多种告警方式。
• Alertmanager：用于处理 Prometheus 的告警，支持多种通知渠道。