Apache Doris FE日志管理全面指南

前言

Apache Doris作为一款高性能的MPP分析型数据库，其前端节点(FE)的日志系统是运维人员监控系统状态、排查问题的重要工具。本文将全面解析FE日志系统的配置与管理，帮助用户高效利用日志信息。

FE日志类型详解

当启动FE进程时，会在日志目录下生成多种类型的日志文件，每种日志都有其特定用途：

1. fe.log - 核心运行日志

   • 记录FE进程所有级别的日志信息(DEBUG/INFO/WARN/ERROR等)
   • 是排查系统问题的主要依据
   • 建议保持INFO级别以获得足够的诊断信息

2. fe.warn.log - 告警日志

   • 仅包含WARN及以上级别的日志
   • 是fe.log的子集，便于快速定位问题

3. fe.audit.log - 审计日志

   • 记录所有通过该FE节点执行的数据库操作
   • 包括SQL查询、DDL、DML等语句
   • 对安全审计和操作追溯至关重要

4. fe.out - 标准输出日志

   • 捕获脚本输出和未被log4j框架处理的日志
   • 通常作为运行日志的补充

5. fe.gc.log - JVM垃圾回收日志

   • 记录JVM的GC行为
   • 由fe.conf中的JAVA_OPTS参数控制

日志配置参数详解

FE日志系统的行为主要通过fe.conf文件中的参数控制，下面分类介绍关键配置项：

基础配置

参数名	默认值	说明
LOG_DIR	${DORIS_HOME}/log	日志存储路径
sys_log_level	INFO	全局日志级别(INFO/WARN/ERROR/FATAL)

日志滚动策略

FE支持两种日志滚动策略：

1. 基于时间(age) - 默认策略

   • sys_log_delete_age: 7d (fe.log保留天数)
   • audit_log_delete_age: 30d (审计日志保留天数)

2. 基于大小(size)

   • info_sys_accumulated_file_size: 4GB (fe.log总大小限制)
   • warn_sys_accumulated_file_size: 2GB (fe.warn.log总大小限制)
   • audit_sys_accumulated_file_size: 4GB (审计日志总大小限制)

高级配置

参数名	说明
sys_log_verbose_modules	指定开启DEBUG日志的Java包/类
sys_log_mode	日志输出模式(NORMAL/BRIEF/ASYNC)
qe_slow_log_ms	慢查询阈值(默认5000ms)
audit_log_modules	审计日志记录模块

注意：从3.0.2版本开始，sys_log_mode默认值改为ASYNC，可显著提升性能。

DEBUG日志开启方法

在排查复杂问题时，可能需要开启DEBUG级别日志：

1. 配置文件方式

在fe.conf中添加：

# 开启特定类的DEBUG日志
sys_log_verbose_modules=org.apache.doris.catalog.Catalog

# 开启整个包的DEBUG日志
sys_log_verbose_modules=org.apache.doris.catalog

修改后需重启FE生效。

2. Web UI方式

访问FE的Web界面(默认端口8030)，在Log标签页中：

• 添加包名/类名开启DEBUG
• 删除包名/类名关闭DEBUG

此方式无需重启，立即生效。

3. API方式

通过REST API动态调整：

# 开启DEBUG
curl -X POST -uuser:passwd fe_host:http_port/rest/v1/log?add_verbose=org.apache.doris.catalog.Catalog

# 关闭DEBUG
curl -X POST -uuser:passwd fe_host:http_port/rest/v1/log?del_verbose=org.apache.doris.catalog.Catalog

容器环境特殊配置

在Kubernetes等容器环境中，建议使用--console参数启动FE，将日志输出到标准输出流：

sh bin/start_fe.sh --console

日志前缀说明：

• RuntimeLogger: fe.log内容
• AuditLogger: 审计日志
• StdoutLogger/StderrLogger: fe.out内容
• 无前缀: GC日志

关键参数：

enable_file_logger=false  # 禁用文件日志，仅输出到控制台

最佳实践建议

1. 日志级别选择：

   • 生产环境保持INFO级别
   • 调试时可临时开启特定模块的DEBUG日志

2. 日志保留策略：

   • 生产环境建议保留至少7天的fe.log
   • 审计日志建议保留30天以上

3. 性能优化：

   • 使用ASYNC日志模式提升性能
   • 定期清理过期日志释放磁盘空间

4. 问题排查：

   • 常规问题查看fe.warn.log快速定位
   • 复杂问题结合fe.log和fe.out分析
   • SQL相关问题检查fe.audit.log

通过合理配置和管理FE日志系统，可以显著提升Apache Doris集群的运维效率和问题排查能力。