ByConity 0.4.2版本中新增资源组(Virtual Warehouse)的部署实践

在ByConity 0.4.2版本的Kubernetes部署过程中，新增资源组(Virtual Warehouse)是一个常见的运维需求。本文将通过一个实际案例，详细介绍如何正确配置和部署新的资源组，以及可能遇到的问题和解决方案。

资源组配置详解

在ByConity的values.yaml配置文件中，资源组通过virtualWarehouses字段进行定义。每个资源组可以继承基础配置，并根据需要覆盖特定参数。以下是关键配置项的说明：

1. 基础资源配置：

   • replicas：副本数量
   • resources：定义CPU和内存的requests和limits
   • image：容器镜像地址
   • podAnnotations：Pod注解

2. 调度相关配置：

   • nodeSelector：节点选择器
   • tolerations：污点容忍
   • affinity：亲和性配置，特别是nodeAffinity用于指定节点标签

3. 存储配置：

   • storage.localDisk：数据存储PVC配置
   • storage.log：日志存储PVC配置

4. 健康检查：

   • livenessProbe：存活探针配置
   • readinessProbe：就绪探针配置

新增资源组的正确步骤

1. 在values.yaml中定义新资源组： 首先需要在配置文件中定义新的资源组模板，然后通过virtualWarehouses字段实例化。例如：

virtualWarehouses:
  - <<: *defaultWorker
    name: vw_default
    replicas: 1
  - <<: *kafkaWorker
    name: vw_kafka
    replicas: 1

2. 在数据库中创建对应资源组： 新增资源组后，必须先在system.virtual_warehouses表中创建对应的记录，否则Worker节点会报错"Virtual Warehouse has not been created"。

3. 调整资源配置： 根据实际负载需求调整CPU和内存配置。案例中发现当CPU资源不足时，Pod会因健康检查失败而不断重启。

常见问题及解决方案

1. 资源组未创建错误：

   Worker node's Virtual Warehouse `vw_kafka` has not been created
   

   解决方案：确保先在system.virtual_warehouses表中创建对应的资源组记录。

2. Pod健康检查失败：

   Liveness probe failed
   Readiness probe failed
   

   可能原因：

   • 资源不足（特别是CPU）
   • 健康检查配置不合理

   解决方案：

   • 增加CPU和内存资源
   • 调整livenessProbe和readinessProbe的参数（initialDelaySeconds、periodSeconds等）

3. prestop钩子失败：

   FailedPreStopHook
   

   这通常是由于权限问题导致，可以检查相关服务的访问权限。

最佳实践建议

1. 资源规划：

   • 根据工作负载类型合理分配CPU和内存资源
   • 为不同资源组配置不同的节点亲和性，实现物理隔离

2. 健康检查配置：

   • 对于计算密集型资源组，适当延长健康检查的超时时间和间隔
   • 考虑工作负载特性调整检查策略

3. 存储配置：

   • 根据数据量预估合理设置PVC大小
   • 为不同资源组配置不同的存储类（StorageClass）以满足性能需求

通过以上配置和优化，可以确保ByConity中新增的资源组能够稳定运行并满足业务需求。在实际部署过程中，建议先进行小规模测试，确认配置无误后再进行全量部署。