Apache Doris Kubernetes集群运维指南：调试与升级操作详解

前言

在Kubernetes环境中部署Apache Doris集群后，日常运维工作中经常会遇到需要调试故障节点或进行版本升级的需求。本文将深入讲解在Kubernetes环境下如何高效地进行Doris集群的调试和升级操作，帮助运维人员掌握关键运维技能。

一、Pod崩溃时的调试方法

1.1 问题场景分析

当Doris集群中的Pod进入CrashLoopBackOff状态时，常规的kubectl describe和kubectl logs命令往往无法提供足够的信息来诊断问题。这时我们需要一种能够保持Pod运行状态的方法，以便进入容器内部进行深入调试。

1.2 Debug模式详解

Doris Operator提供了专门的Debug模式来解决这个问题，其工作原理如下：

1. Debug模式本质：通过添加特定注解(annotation)改变Pod的启动行为
2. 核心优势：保持Pod处于运行状态，而非不断重启
3. 适用场景：服务启动失败、配置错误、资源不足等疑难问题排查

1.3 详细操作步骤

1.3.1 进入Debug模式

# 为问题Pod添加Debug注解
kubectl annotate pod ${pod_name} --namespace ${namespace} apache.com.doris/runmode=debug

执行后，Pod将在下次重启时进入Debug模式并保持运行状态。

1.3.2 手动调试流程

1. 进入Pod内部：

kubectl --namespace ${namespace} exec -ti ${pod_name} bash

2. 关键配置修改（必须步骤）：

   • FE节点：修改/opt/apache-doris/fe/conf/fe.conf中的query_port（默认9030）
   • BE节点：修改/opt/apache-doris/be/conf/be.conf中的heartbeat_service_port（默认9050）

3. 手动启动服务：

# FE节点
/opt/apache-doris/fe/bin/start_fe.sh

# BE节点 
/opt/apache-doris/be/bin/start_be.sh

1.3.3 退出Debug模式

完成调试后，删除Pod即可恢复正常模式：

kubectl delete pod ${pod_name} --namespace ${namespace}

1.4 调试技巧

1. 日志查看：在手动启动服务时，建议直接在前台运行以便查看实时日志
2. 配置检查：重点检查端口冲突、资源限制等常见问题
3. 网络诊断：使用telnet或curl验证服务可达性

二、Doris集群升级指南

2.1 升级前准备

2.1.1 关键注意事项

1. 时间选择：务必在业务低峰期进行升级
2. 兼容性检查：
   • 确保集群不是单副本部署
   • FE至少有2个FOLLOWER节点
3. 版本规划：禁止跨多个关键版本升级，必须按版本顺序逐步升级

2.1.2 预处理命令

-- 暂停集群平衡和修复功能
admin set frontend config("disable_balance" = "true");
admin set frontend config("disable_colocate_balance" = "true");
admin set frontend config("disable_tablet_scheduler" = "true");

2.2 详细升级流程

2.2.1 升级顺序规范

必须严格按照以下顺序进行升级：

计算节点(CN/BE) → 前端节点(FE) → Broker节点

2.2.2 BE节点升级

方法一：通过YAML文件升级

1. 修改spec.beSpec.image版本号
2. 应用变更：

kubectl apply -f doriscluster-sample.yaml -n doris

方法二：直接编辑CRD

kubectl edit dcr doriscluster-sample -n doris

2.2.3 FE节点升级

操作方式与BE类似，修改spec.feSpec.image后应用变更。

2.2.4 升级过程监控

# 查看Pod状态变化
kubectl get pod -n doris -w

2.3 升级后验证

2.3.1 节点状态检查

-- 检查FE节点
show frontends\G;

-- 检查BE节点
show backends\G;

验证要点：

1. Alive字段必须为true
2. Version字段显示为新版本号
3. 各端口状态正常

2.3.2 恢复集群功能

-- 重新启用集群平衡和修复
admin set frontend config("disable_balance" = "false");
admin set frontend config("disable_colocate_balance" = "false");
admin set frontend config("disable_tablet_scheduler" = "false");

三、最佳实践建议

1. 版本管理：维护完整的YAML配置文件，记录每次升级的版本变更
2. 回滚方案：升级前做好备份，准备好旧版本镜像以便快速回滚
3. 监控集成：升级过程中密切监控集群指标，特别是CPU、内存和磁盘使用率
4. 灰度发布：对于大型集群，可考虑先升级部分节点验证稳定性

结语

通过本文介绍的方法，运维人员可以系统性地解决Apache Doris在Kubernetes环境中的常见运维问题。无论是故障调试还是版本升级，都需要谨慎操作并做好充分准备。建议在实际操作前在测试环境充分验证，确保生产环境的稳定运行。