Apache Doris 集成存储计算集群手动部署指南

概述

Apache Doris 是一款高性能、实时的分析型数据库，采用 MPP（大规模并行处理）架构设计。本文将详细介绍如何手动部署 Apache Doris 的集成存储计算集群，帮助用户快速搭建生产环境。

集群架构简介

Apache Doris 采用集成存储计算架构，主要包含两类节点：

1. FE（Frontend）节点：负责元数据管理、集群管理、查询解析和调度
2. BE（Backend）节点：负责数据存储和计算执行

这种架构设计使得 Doris 能够同时提供高效的查询性能和强大的扩展能力。

部署前准备

在开始部署前，请确保已完成以下准备工作：

1. 硬件环境检查：确认服务器配置满足要求
2. 操作系统检查：确保系统参数配置正确
3. 网络规划：确定各节点IP地址和端口分配
4. 软件准备：下载对应版本的 Doris 安装包

详细部署步骤

第一步：部署 FE Master 节点

1. 创建元数据目录

建议将 FE 元数据存储在独立磁盘上，与 BE 数据存储分离：

# 创建专用元数据目录
mkdir -p /data/doris-meta

# 创建符号链接（如使用默认目录结构）
ln -s /data/doris-meta /path/to/doris/fe/doris-meta

2. 配置 FE 参数

编辑 conf/fe.conf 文件，关键配置项包括：

# JVM 堆内存设置（生产环境建议16GB以上）
JAVA_OPTS="-Xmx16384m -XX:+UseMembar -XX:SurvivorRatio=8"

# 表名大小写敏感设置（建议设为1，不敏感）
lower_case_table_names = 1

# 网络CIDR配置（根据实际网络规划）
priority_networks = 10.1.3.0/24

# JDK路径设置
JAVA_HOME = /usr/local/jdk

3. 启动 FE 进程

./bin/start_fe.sh --daemon

4. 验证 FE 状态

使用 MySQL 客户端连接并检查状态：

mysql -uroot -P9030 -h127.0.0.1
> SHOW FRONTENDS\G

重点关注 Alive、Join 和 IsMaster 字段状态。

第二步：扩展 FE 集群（可选）

生产环境建议部署至少3个 FE 节点（1 Master + 2 Follower）。

1. 添加 Follower 节点

在 Master FE 上执行：

ALTER SYSTEM ADD FOLLOWER "follower_ip:9010";

2. 启动 Follower 节点

在新节点上执行：

./bin/start_fe.sh --helper master_ip:9010 --daemon

3. 验证集群状态

SHOW FRONTENDS;

第三步：部署 BE 节点

1. 创建数据目录

mkdir -p /data1/doris-storage
mkdir -p /data2/doris-storage

2. 配置 BE 参数

编辑 conf/be.conf：

# 存储路径配置（支持多磁盘）
storage_root_path=/data1/doris-storage,medium:HDD;/data2/doris-storage,medium:SSD

# 网络CIDR配置
priority_networks = 10.1.3.0/24

3. 注册 BE 节点

在 FE 上执行：

ALTER SYSTEM ADD BACKEND "be_ip:9050";

4. 启动 BE 进程

./bin/start_be.sh --daemon

5. 验证 BE 状态

SHOW BACKENDS;

第四步：集群完整性验证

1. 修改 root 密码

SET PASSWORD = PASSWORD('your_new_password');

2. 创建测试表

CREATE DATABASE test_db;
USE test_db;

CREATE TABLE test_table (
    id INT,
    name VARCHAR(50),
    value DOUBLE
)
DISTRIBUTED BY HASH(id) BUCKETS 10;

3. 数据操作测试

-- 插入数据
INSERT INTO test_table VALUES 
(1, 'item1', 10.5),
(2, 'item2', 20.3);

-- 查询验证
SELECT * FROM test_table;

生产环境建议

1. FE 节点：至少部署3个节点，确保高可用
2. BE 节点：根据数据量和查询负载确定节点数量
3. 监控：部署监控系统，定期检查集群健康状态
4. 备份：建立定期元数据备份机制

常见问题排查

1. FE 启动失败：检查 log/fe.log 中的错误信息
2. BE 无法加入集群：确认网络连通性和端口开放情况
3. 查询性能问题：检查 BE 节点负载和数据分布情况

总结

通过本文的步骤，您已经成功部署了一个 Apache Doris 集成存储计算集群。这种架构设计使得 Doris 能够充分发挥 MPP 架构的优势，提供高性能的分析能力。在实际生产环境中，建议根据业务需求进一步优化配置参数，并建立完善的监控和维护机制。